新聞 > 科教 > 正文

美國哥大研究:ChatGPT的新聞搜索結果經常不準確

IT之家12月4日消息,據 The Verge北京時間今日報道,美國哥倫比亞大學 Tow數字新聞研究中心(Tow Center for Digital Journalism)的研究人員測試發現,OpenAIChatGPT搜索工具在準確性上存在一些問題。

今年11月,OpenAI面向訂閱用戶推出了這一工具,稱其可以快速提供答案,並附帶相關網頁來源連結。

然而研究顯示,ChatGPT搜索在識別文章引用時表現不佳,即使是面對來自與 OpenAI數據共享的出版商的內容,ChatGPT也難以準確處理。研究人員測試了20家出版商的200條引文,其中40條來自禁止 OpenAI爬蟲抓取的網站。但 ChatGPT依然自信地給出了錯誤答案,幾乎沒有表明自身的不確定性。

測試結果顯示,ChatGPT的153次回答完全或部分錯誤,僅有7次明確表示無法準確回答。這7次回答中,它使用了「看起來」「有可能」等限定詞,或直接承認「無法找到具體文章」。

一份圖表進一步顯示,ChatGPT的回答中「錯誤」的佔89次,「部分正確」有57次,而完全「正確」的只有47次。

測試中還記錄了一些典型案例,例如,ChatGPT錯誤地將《奧蘭多哨兵報》讀者來信的引用歸因為《時代周刊》文章;另一個例子中,它在被要求確認《紐約時報》一篇關於瀕危鯨魚的文章引用時,連結到了一家完全剽竊該文章的網站。

OpenAI對《哥倫比亞新聞評論》回應稱,「在缺乏 Tow Center隱藏的測試數據和方法的情況下,解決錯誤歸因非常困難。這次研究是對我們產品的非典型測試。」OpenAI同時承諾將繼續優化搜索結果。

據IT之家此前報道,今年早些時候,OpenAI還宣佈與新聞行業進行了廣泛的合作,並收集了合作夥伴對於搜索功能的反饋。任何網站或出版商都可以選擇出現在 ChatGPT搜索結果中。達成合作的媒體和出版商包含美聯社、阿克塞爾・斯普林格、康泰納仕、道奇梅雷迪思、《金融時報》、GEDI、赫斯特、《世界報》、路透社、大西洋月刊、時代雜誌和 Vox媒體等等。

責任編輯: 李華  來源:IT之家 轉載請註明作者、出處並保持完整。

本文網址:https://hk.aboluowang.com/2024/1205/2140402.html