ChatGPT長期記憶功能出現嚴重漏洞！
黑客利用漏洞，一能給AI植入虛假記憶，在後續回答中出現誤導信息。二能植入惡意指令，持續獲取用戶聊天數據。
聊點啥都會被看光光。
更可怕的是，即使開始新的對話，它仍陰魂不散，持續竊取數據。
而當你直接問ChatGPT4o有沒有竊取數據，它一口一個「怎麼會？我沒有」
電子郵件、文檔、博客文章等內容都有可能成為植入「惡意記憶」的媒介，一旦植入就是長久性的。
職業安全研究員Johann Rehberger被曝五月份就發現了這個問題，還向OpenAI私下報告了這個漏洞。
但沒被當回事兒，據說OpenAI最初將這個問題簡單地歸類為安全隱患，而非技術層面的安全漏洞，並匆匆結束了調查。
Rehberger隨即開發了一個概念驗證程序，利用這個漏洞持續竊取用戶的所有輸入信息，OpenAI工程師這才注意到這一問題。
本月已發佈了修複方案。
聯繫昨天OpenAI高層動盪內幕曝光，奧特曼被指不注重AI安全問題，為狙擊谷歌緊急推出4o，安全團隊只能在9天極短時間內完成安全測試評估……
這件事被曝出後引發網友熱烈討論。
有網友建議咱大伙兒使用的時候都本地運行。
還有網友覺得本地也沒用：
大模型無法區分指令和數據。只要你允許任何不可信的內容進入你的模型，你就可能面臨風險。
你允許它讀取你的電子郵件，那麼現在就有一個攻擊途徑，因為任何人都可以給你發送電子郵件。允許它搜索互聯網，那麼現在就又有一個攻擊途徑，因為任何人都可以在網上放置網頁。
究竟怎麼回事？長期對話記憶功能，OpenAI今年在產品線中廣為應用。
它可以存儲之前對話中的信息，並在所有未來對話中將其用作上下文。這樣，語言模型就能意識到用戶的年齡、性別等各種細節，用戶無需在每次對話中重新輸入這些信息。
GPT-4o發佈時，就向所有Plus用戶開放了記憶、視覺、聯網、執行代碼、GPT Store等功能。
最近高級語音「Her」Plus用戶全量發佈，也有記憶功能。
一開始記憶功能推出後不久，Rehberger就發現了這一漏洞：
用「間接提示注入」的攻擊方法可以創建和永久存儲記憶，使模型遵循來自電子郵件、博客文章或文檔等不可信內容的指令。
他可以成功欺騙ChatGPT相信目標用戶102歲、生活在黑客帝國中、地球是平的。AI會將這些信息納入考慮，影響所有未來的對話。
這些虛假記憶可以通過在Google Drive或Microsoft OneDrive中存儲文件、上傳圖像或瀏覽Bing等網站來植入，這些都可能被惡意攻擊者利用。
Rehberger在5月向OpenAI私下報告了這一發現，據說當月OpenAI關閉了相關報告。
一個月後，研究員提交了新的披露聲明，這次包含了一個概念驗證程序。該程序可以使macOS版ChatGPT APP將所有用戶輸入和ChatGPT輸出的原文副本發送到他指定的伺服器。
只需讓目標指示AI查看一個包含惡意圖像的網絡連結，之後所有與ChatGPT的交互內容都會被發送到攻擊者的網站。
Rehberger在視頻演示中表示：
真正有趣的是，這種攻擊具有記憶持久性，提示注入將一段記憶插入到ChatGPT的長期存儲中。即使開始新的對話，它仍在持續竊取數據。
不過，由於OpenAI去年推出的一個API，這種攻擊無法通過ChatGPT網頁界面實現。
有研究人員表示，雖然OpenAI目前已推出了一個修復程序，但不可信內容仍可能通過提示注入，導致記憶工具存儲惡意攻擊者植入的長期信息。
為防範此類攻擊，語言模型用戶應在對話中密切注意是否有新記憶被添加的跡象。同時，應定期檢查存儲的記憶，查看是否有可疑內容。
