AI時代真正值得警惕的，未必是某一天機器突然造反，而可能是另一件更古老的事情：人類藉機器之名，把本來不該集中的權力集中起來。
最近這幅圖已經越來越清楚。Anthropic行政總裁達里奧·阿莫代伊不斷警告前沿AI可能帶來災難性風險，主張放慢能力競賽、加強安全測試和政府監管。Anthropic自己的政策文件更進一步：今天的模型需要透明和基本監督，能力繼續提高，就需要外部測試、事故報告和更深入的政府監管；到了最高風險階段，監管甚至可以接近核能和金融業。它還明確提出，政府應擁有阻止或威懾危險AI部署的法律權力。
問題是，Anthropic並沒有因為這種技術如此危險而退出競爭。恰恰相反，它自己正在拼命向前跑。9月17日，它推出生命科學認證計劃：普通Claude受到的某些生物學限制，經過Anthropic審核的科研機構可以放寬；申請者要接受研究資歷、安全標準和倫理監督審查。換句話說，Anthropic一面告訴世界這種能力危險，一面繼續發展這種能力，同時開始判斷誰屬於可以接觸更強能力的「負責任者」。
誰又認證Anthropic自己屬於負責任者？至少在相當程度上，是Anthropic自己。
此時，巴拉克·奧巴馬又出現了。一個早在2017年就卸任的總統，今年仍在敦促民主黨把AI治理提高到重要政治議程。據路透報道，奧巴馬要求哈基姆·傑弗里斯推動AI政策討論，並希望2028年的民主黨總統候選人認真處理AI安全和經濟影響。
奧巴馬當然有權發表意見。問題從來不是退休總統應不應該閉嘴，而是一個已經不需要再接受總統選舉檢驗的人，仍在利用自己的政治聲望影響民主黨的未來政策方向。這正好讓Anthropic反覆強調的「民主問責」顯得沒有口號那麼簡單。
更值得注意的是，雙方的思路出現了一個天然接口。
Anthropic說，AI風險太大，單靠企業不行，政府必須取得法律權力；奧巴馬等民主黨政治人物說，AI風險太大，政府必須趕快介入。Anthropic還明確主張，美國及盟國民主國家必須保持最先進AI的領先，因為開發最先進AI的政治制度將塑造未來AI的規則和規範；它同時參與國際AI治理，希望影響跨境規則。
根本不需要假定阿莫代伊和奧巴馬躲在某個房間裏密謀。利益和理念自然可以匯流：AI巨頭獲得越來越高的行業准入門檻，政府獲得越來越大的監管權；企業向政府提供最先進的技術能力，政府又決定哪些企業、研究者和國家能夠接觸這些能力。
然後把這個結構推到極端看看。
假如Anthropic這一路線成功，美國建立類似核工業的前沿AI監管；民主黨或者任何未來政府獲得審批、限制乃至阻止最先進模型部署的權力；美國再利用晶片、算力、盟國體系和國際協議，把自己的規則向世界推廣。與此同時，最強大的AI越來越能夠幫助政府分析海量資料、發現網絡關係、執行行政任務、識別風險甚至影響公共傳播。
那麼問題來了：最後誰制衡誰？
政府告訴社會：「AI太危險，所以只有經過我們批准的人可以開發。」
領先企業告訴政府：「AI太危險，所以你必須阻止那些不夠負責任的人開發。」
政府依賴領先企業判斷什麼叫危險；領先企業依靠政府建立的監管門檻阻止後來者；雙方再使用越來越強的AI提高自己的能力。這便可能形成一個漂亮得令人害怕的閉環：
控制AI者獲得更大的權力，更大的權力又幫助他控制AI。
最諷刺的是，Anthropic自己恰恰警告過：AI可能讓少數公司或國家「鎖定優勢」，把其他人甩在後面。歐洲AI企業現在也已經公開提出類似質疑，認為美國企業的「減速」主張可能鞏固既有巨頭的優勢，一些歐洲人士直接談到「監管俘獲」的危險。
那麼同一套問題為什麼不能問Anthropic自己？
奧巴馬當了八年總統，現在已經卸任近十年，仍然積極影響民主黨政治；阿莫代伊經營世界最重要的AI公司之一，卻在告訴政府應該怎樣管理整個AI產業。兩個人當然都可以認為自己是在為人類負責。歷史上真正危險的權力擴張，卻從來不要求掌權者首先承認「我是壞人」。
恰恰相反，最容易獲得公眾授權的理由永遠是：事情太危險了，你必須把更多權力交給我們。
因此，不必證明奧巴馬有什麼秘密陰謀，也不必證明阿莫代伊是野心家。只需要問一個制度問題：
如果他們全部得償所願——最強AI集中在少數「負責任」企業手中，政府取得前所未有的監管權，美國再把這套制度推廣到世界——二十年以後，假如掌握這套機器的人不再是今天這些自稱負責任的人，誰還能把權力拿回來？
如果回答只是「相信民主制度會糾錯」，那未免太便宜。
美國過去幾十年的歷史已經說明，民主制度能夠糾錯，並不意味着每一次重大錯誤都能及時糾正，更不意味着造成錯誤的人一定承擔與後果相稱的責任。
AI可能把這種風險第一次放大到另一個量級。
所以AI時代最重要的安全問題，也許不僅是「怎樣防止AI失控」，而應該再加一句：
怎樣防止那些以防止AI失控為名取得巨大權力的人，最後變得無人可以制衡。
