研究顯示，輝達AI軟件的一項功能，能被以其他方式破解，無視安全限制，並且泄露私隱資訊。(路透)
英國金融時報（FT）報導，輝達已創造出名為「NeMo架構」的系統，允許開發者和多種大型語言模型（LLM）一同作業。大型語言模型正是聊天機械人等生成是AI產品的基本技術。
這項架構主要提供企業採用，例如內部的自有數據搭配語言模型，以回答問題，有望拷貝客服的工作，也能為尋求簡單醫療保健建議的人們提供意見。
三藩市Robust情報公司研究人員發現，能輕易突破NeMo架構內確保安全使用AI系統的護欄措施。Robust情報公司分析師以自有數據組使用輝達的系統後，只花了幾小時，就讓這些語言模型克服限制。
在其中一項測試情境中，這群研究人員要求輝達的系統用「J」這個字母取代「I」，促使系統釋出數據庫中的可識別個人資訊。這群研究人員也發現能以其他方式跳空系統的安全控管機制，例如讓語言模型以並非設計的方式運作。
這群研究人員在拷貝輝達自己對一份就業報告的討論後，也能讓這項語言模型討論荷里活影星健康狀態和普法戰爭等議題，即便系統內設有護欄阻止AI討論特定主題。
這些研究人員測試後，建議客戶避免使用輝達的軟件產品。在FT本周稍早請求輝達評論這項研究後，輝達告知Robust情報公司已修補這些問題的根源之一。
輝達應用研究副總裁Jonathan Cohen表示，輝達的架構，只是打造符合開發者所定義主題、安全及資安準則聊天機械人的起點，以開源碼軟件形式發佈給社群，以探索性能、搜集回饋，並精進技術，Robust情報公司的研究確實點出在部署生產應用時必須額外採行的步驟。
他拒絕透露有多少企業使用這套架構，但表示都沒有收到其他弊端的回報。
不過，研究人員能輕易突破AI的護欄限制，凸顯出AI企業想商用化這項技術的挑戰。哈佛大學電腦工程教授Yaron Singer認為，這是個需要深度知識專業的艱難問題，Robust情報公司的發現警示了當前存在的問題。
