Google DeepMind正在出資研究一個新問題：當數百萬個 AI智能體同時在網上活動、互相交互，會出什麼事？
公司 AGI安全與對齊研究負責人羅欣·沙阿（Rohin Shah）說，智能體正在大規模湧入市場。它們可以在沒有人盯着的情況下幹活，還能聽從其他智能體的指令，這帶來了一類舊互聯網時代不存在的風險。
Google DeepMind上個月在 Google I/O上剛把智能體工具當作重頭戲來展示，現在又聯合了幾家機構，拿出1000萬美元設立研究基金，資助學者研究多智能體系統的行為，想辦法防止危險情景出現。參與出資的還有 Schmidt Sciences（埃里克·施密特夫婦創辦的慈善基金會）、ARIA（英國政府的前沿研究機構）、Cooperative AI基金會（英國的非營利研究機構），以及 Google的慈善部門 Google.org。
我問沙阿和 Schmidt Sciences可信 AI科學項目負責人詹姆斯·福克斯（James Fox），1000萬美元打算怎麼花——這筆錢不少，但跟 Google DeepMind自家研究團隊的預算比就是個零頭。
沙阿說他們的目的是在科技公司之外培育一支研究力量：「學術界的長處是有時間做更長線的研究，做那些產業實驗室顧不上的事情。」
「關鍵問題是，『多智能體安全』這個研究領域現在基本還不存在，」他說，「我們想讓它從無到有。」
讓他擔心的是：隨着越來越多的 AI智能體被部署、開始協同運轉，我們可能在某個時刻跨過一個臨界點——以前只存在於假想中的風險變成現實。「人類社會也一樣，」沙阿說，「一個組織、一套制度能幹成的事，單個人根本做不到。智能體也是這個道理。」
沙阿估計離智能體在經濟中大規模部署、風險真正值得擔憂的那一刻，大概還有幾個月，他想趕在那之前把準備工作做好。
到底怕什麼？
沙阿和福克斯擔心的風險，說白了大多是互聯網上已有的壞事的升級版：詐騙、提示詞注入（往 AI智能體裏塞惡意指令，讓它變成一個自動運行的惡意軟件）、各種網絡攻擊。沙阿說他們的思路很直接：看看人類現在在互聯網上幹什麼壞事，然後想想如果換成智能體來干，規模會放大多少倍。
「我們有一個數字公共空間，整個社會的運轉都依賴它，你絕對不想看到它變成一片叢林。」福克斯說。
我問沙阿有沒有考慮過更極端的情景，比如大規模經濟崩潰。「如果說今年年底之前，那肯定不會。」他說。我提醒道，今年只剩下六個月了。他笑了笑：「好吧，再往後的事就不好說了。」
兩人都認為，要搞清楚大量智能體同時交互會發生什麼，唯一靠譜的辦法是跑逼真的模擬實驗，把 AI智能體扔進沙盒環境裏，看它們怎麼表現。光盯着單個智能體研究、甚至只看小規模的群組，預測不了什麼。福克斯說，不能指望基於大語言模型的智能體總會理性行事，真正的複雜性來自海量交互同時發生。
有些研究者——包括 Google DeepMind自己的一個團隊——甚至提出過一種可能：通用人工智能 AGI（如果能實現的話）也許不會來自某一個超級聰明的模型，而是來自一種智能體「蜂群」，整體的能力加起來超過各部分之和。
誰都不能完全信任
不只是 Google DeepMind在對自己正在造的技術發出警告。兩周前 Anthropic發佈了一套部署 AI智能體的指南，用的是網絡安全領域一種叫「零信任」的思路：從一開始就假設系統有漏洞、智能體可能是攻擊者、安全事件遲早會發生。
以色列特拉維夫網絡安全公司 Akeyless的聯合創始人兼 CTO拉法埃爾·安傑爾（Refael Angel）也認為搞清楚智能體帶來的新風險至關重要。
過去所有的安全方法都建立在一個前提上：機器跑的是人寫的代碼，做的事情是確定的，走的路徑是固定的。安傑爾說：「智能體把這些前提全部推翻了。它會推理，會臨場發揮，甚至一句藏在文檔里的話就可能把它劫持。」
安傑爾歡迎這筆研究資金。「安全標準不應該只由某一家實驗室來定，然後要求其他所有人照做。」他說。但他也提醒，搞安全研究的人有時候會追着新奇的假想問題跑，反而忽略了那些已經擺在眼前的、沒什麼新鮮感的真問題。
福克斯則指出，幾年前還只是假想的東西現在已經很真實了：「未來比我們預想的來得快。」
