在OpenAI和Anthropic做過預訓練研究的Jacob Coxon辭職了。他說，兩家公司正在競相奔向能夠自我改進的超級智能，是在拿所有人的性命賭博。更值得注意的是，Anthropic仍在職的研究人員也公開呼應：他們確實相信，人工智能可能在未來十年內毀滅人類，而人類至今沒有解決超級智能的控制問題。
這種警告當然不能當耳邊風。但其中也隱藏着一個容易被忽略的前提：仿佛今天的危險來自人工智能突然學會作惡，而掌握它的人類原本都很善良。
現實顯然不是如此。
汽車可以送人上班，也可以被醉漢開上行人路，被恐怖分子當作武器。槍可以用於自衛，也可以用於謀殺。互聯網連接了世界，也讓詐騙、勒索和極端主義跨越國界。技術本身能夠幫助人，也能夠放大使用者的善惡。人工智能首先面對的，恐怕不是它有沒有「殺心」，而是本來就會犯罪、發動戰爭、追逐權力的人，會怎樣使用它。
一個罪犯原來只能欺騙幾十人，人工智能可以讓他同時欺騙十萬人；一個普通黑客原來沒有能力攻擊關鍵設施，人工智能可能替他尋找漏洞、編寫程序；一個獨裁政府原來需要龐大人力監視人民，人工智能可以自動識別、追蹤和判斷。即使人工智能永遠服從命令，沒有意識，也沒有求生欲，它仍可能成為危險的放大器。
但這是否意味着應該停止研發？
如果汽車會撞死人，答案不是禁止汽車，而是設置駕照、道路規則和安全標準。可是人工智能又不同於汽車。一輛汽車只能在一個地點行動，一個模型卻可以在幾秒鐘內複製無數份，同時攻擊全球目標。汽車撞壞了可以扣押，模型權重一旦外泄，還能不能收回？普通工具的管理方法，足以約束這種可以複製、隱藏甚至協助製造下一代工具的技術嗎？
即使美國決定暫停，又會出現另一個問題：中國、俄羅斯以及其他國家會不會跟着暫停？
如果美國公司接受嚴格限制，而對手繼續訓練更強的模型，世界可能仍然面對人工智能風險，只是最先進的能力落到更不透明、更難約束的政權手中。美國主動退出競賽，究竟是在降低危險，還是在放棄阻止危險的能力？反過來說，如果每個國家都以「不能輸給對手」為理由繼續加速，那麼競賽本身是否必然把所有參與者推向他們明知危險的方向？
國際協議聽起來合理，執行卻異常困難。核材料難以製造，也較容易追蹤；算法可以複製，模型可以秘密訓練，晶片還可以走私。美國與盟國可以登記大型算力中心、限制高端晶片、審計危險能力，但怎樣確認中共或其他政府沒有秘密項目？如果無法核查，守規則的一方會不會反而受到懲罰？如果完全不立規則，第一次重大事故又可能由誰承擔？
更難的問題是紅線畫在哪裏。寫作、翻譯、醫學研究當然不能與網絡攻擊、生物設計和自動武器一概而論。但模型能力往往是通用的：能夠發現藥物的系統，也可能幫助設計病原體；能夠檢查軟件漏洞的系統，也能夠發動攻擊。我們究竟應該限制技術，限制權限，還是限制使用者？又由誰判斷某項能力已經危險到不能公開？
Coxon未能證明人工智能一定會消滅人類，更無法證明災難將在2030年前發生。但公司同樣不能證明未來系統一定可控。這裏沒有一方握有完整答案，卻有人繼續投入數千億美元，把能力向前推進。
人類不能因為最壞結果尚未發生，便假定它永遠不會發生；也不能因為存在最壞可能，就把一項可能挽救無數生命的技術全部封存。停止可能輸，競賽也可能輸；開放可能擴散危險，封鎖又可能把優勢送給最不受約束的人。
問題最終沒有消失：如果人類並非天使，誰應該掌握越來越強的人工智能？如果沒有任何國家值得完全信任，又由誰來踩下那道全世界都必須同時踩下的剎車？
