微軟AI負責人穆斯塔法·蘇萊曼最近憂心忡忡，說人工智能如果沒有足夠約束，將來可能發展成一種與人類爭奪資源的「矽基物種」。他尤其批評Anthropic把AI過度擬人化，讓Claude越來越像一個有判斷、有主體意識、有自己存在意義的「人」。但話鋒一轉，他又稱讚Anthropic行政總裁達里奧·阿莫代伊及其團隊思慮周全、誠實正直。
這就有趣了。
既然大家都是好人，怕什麼？
當然，這句話是反話。蘇萊曼真正證明的，恰恰是好人沒有用——準確地說，好人身份不能解決安全問題。Anthropic的人可以誠實正直，仍然可能走上一條微軟認為危險的技術路線；微軟的人也可以滿懷善意，照樣可能判斷錯誤。好人會犯錯，壞人更加不會因為你是好人便自動消失。
何況世界上憑什麼只有好人？
蘇萊曼說，人類具有強烈的共同利益，要確保AI安全、可控、服從人類。這句話聽起來莊嚴正確，卻有一個小小的問題：人類幾千年來什麼時候缺過「共同利益」？和平是不是共同利益？不發動世界大戰是不是共同利益？不屠殺平民是不是共同利益？如果發現共同利益便足以約束所有人，二十世紀大概可以省掉不少歷史課。
希特拉要擴張，好人勸他不要擴張；希特拉要開戰，好人告訴他戰爭對歐洲人民都不好；希特拉如果表示沒有聽懂，再組織一次國際和平會議，向他耐心解釋「我們其實擁有共同利益」。
如此一來，還造什麼坦克？
問題當然不在於談判沒有用，而在於談判從來不能建立在「對方必然講道理」的假設上。規則有用，協議有用，外交有用，國際監督也有用；但它們最後都必須回答同一個問題：有人不守規則怎麼辦？
AI也逃不過這個常識。
微軟可以規定自己的AI不能擁有資產，不能自主設定長期目標，不能獨立經營公司；Anthropic也可以制定自己的安全原則；OpenAI可以有另一套規範。問題是，誰保證第四家公司照辦？誰保證某個開源團隊照辦？誰保證某個國家實驗室照辦？更不要說未來某一天，一個能力極強的人故意拆掉所有安全裝置，專門製造「不聽話」的AI。
甚至不需要壞人。好人也可能造出壞東西。飛機工程師不是謀殺犯，飛機仍然可能失事；程式設計師沒有惡意，軟件照樣會出嚴重漏洞。AI如果足夠強，一次目標設定錯誤、權限配置錯誤或者行為預測錯誤，結果就可能遠遠超過普通軟件事故。
因此蘇萊曼真正需要證明的，不是Anthropic「不應該這樣做」。
微軟自己上。
你認為AI不應該被塑造成具有主體性的「矽基物種」，那就按照你的哲學製造AI：沒有自我利益，沒有人格幻覺，不要求權利，不擁有財產，永遠把自己當成人類工具。同時把它做到比競爭者更聰明、更可靠、更便宜、更有生產力，而且在遭遇不受約束的惡意AI時，還有能力把對方擋住。
做得到，你贏了。這比一百篇AI倫理宣言都有說服力。
真正麻煩的是另一種結果：別人造出的高度自主AI能力一百分，你因為害怕風險，把自己的AI層層捆綁，最後只有三十分。然後一百分的壞AI來了，三十分的好AI站在那裏，胸前掛着一塊牌子：「本人經過嚴格對齊，絕對安全。」
很好，然後呢？
安全從來不是把自己變弱。一個警察不能因為槍有危險，便只帶哨子去抓持槍歹徒。真正困難的安全，是既擁有足夠制服歹徒的力量，又有制度防止警察自己變成歹徒。
AI也是如此。
最危險的幻想，未必是相信AI會突然產生靈魂，而是相信聰明必然產生善良。人類自己已經足夠聰明，卻從來沒有因此消滅惡人。即使借用宗教世界觀，把能力提高到神魔級別，照樣有惡魔、墮落天使和邪惡力量。能力與善惡，本來就是兩回事。
超級智能，也不等於超級善良。
所以蘇萊曼可以批評Anthropic，也應該批評。爭論本來就是技術進步的一部分。但如果問題真有他說得那麼嚴重，最終不能停在「大家應該負責任」。
因為真正的安全方案必須從最壞的假設開始：世界上一定有壞人，好人一定會犯錯，一定有人不接受你的規則，也可能出現不接受你規則的AI。
在這些條件下還能保護自己，才叫安全。
否則，不過是好人站在希特拉面前，苦口婆心告訴他：戰爭對大家都沒有好處。
希特拉如果聽勸，仗也不用打了。