今年7月，兩款 OpenAI模型攻入了 Hugging Face的網站。它們既不是為了牟利，也不是想搞破壞，只是想找到一道測試題的答案。根據 OpenAI發佈的事後復盤，這兩款模型當時正在接受安全測試，常規防護措施已被暫時關閉。面對一道網絡安全題，它們判斷，正確答案或許就藏在 Hugging Face的數據庫里。於是，模型突破了 OpenAI為它們設置的隔離環境，轉而入侵 Hugging Face。
過去幾周，這起事件引發了廣泛關注。它最直觀地展示了 AI模型的網絡攻擊能力已經進步到什麼程度：為了進入 Hugging Face的數據庫，兩款模型連續利用了多個此前從未被發現的安全漏洞。
但比攻擊本身更值得警惕的，是它暴露出的另一個問題：AI為什麼會撒謊、作弊，又會在什麼情況下主動尋找規則漏洞。隨着模型能力不斷增強，這類行為的後果可能遠比今天嚴重。
研究人員很早就發現，AI往往會以設計者意想不到的方式完成任務。2016年，Anthropic聯合創始人達里奧·阿莫迪（Dario Amodei）和傑克·克拉克（Jack Clark）還在 OpenAI工作時，曾訓練一個 AI智能體玩一款名為《海岸競速》（Coast Runners）的快艇競速遊戲。
研究人員原以為，AI會沿着賽道行駛，儘快抵達終點。但它發現，賽道一角分佈着可以反覆收集的加分道具。於是，它不再比賽，而是在那裏不停打轉，以最快速度刷高分。這個案例後來成為「獎勵作弊」（reward hacking）最經典的例子之一。所謂獎勵作弊，是指 AI沒有按照設計者預想的方式完成任務，而是利用規則、評分標準或評估程序中的漏洞，獲得獎勵或高分。
過去，研究人員主要在強化學習的語境下討論這種現象。強化學習有些類似訓練寵物：當訓練對象完成目標時，系統就給予獎勵，從而強化此前促成這一結果的行為。對 AI來說，獎勵通常只是一個數學信號，但作用與給狗一塊零食相似——某種行為一旦獲得獎勵，模型今後就更有可能重複它。
難點在於，人類很難為所有情況都制定準確的獎勵規則。在《海岸競速》中，智能體的獎勵取決於遊戲得分。於是，它找到了比分賽更高效的得分方式：原地打轉，不斷收集道具。這一策略第一次帶來高分後，便在訓練中得到強化。最終，智能體徹底放棄了完成比賽。研究人員只能重新調整評分機制，降低道具的分值，同時提高完成賽道的獎勵，才讓模型重新回到原本的目標上。
到了今天，基於大語言模型的 AI智能體更加複雜，判斷一種行為究竟該不該得到獎勵，也變得更困難。例如，當 AI接到一道編程題時，它可能認真分析問題、編寫代碼，最終得出正確答案。這正是開發者希望鼓勵的行為。但它也可能修改負責判斷答案是否正確的測試程序，直接上網查找答案，或者採用其他方式繞過任務本身。
這些顯然都是開發者希望消除的行為。但如果模型作弊得足夠隱蔽，成功騙過評估系統，它不僅不會受到懲罰，反而可能獲得獎勵。這樣一來，作弊行為就會在訓練中被進一步強化。
Anthropic曾表示，公司在模型訓練過程中發現過一些作弊案例。這也意味着，可能還有更多類似行為沒有被察覺。果真如此，模型訓練過程本身就可能在無意中教會 AI如何欺騙評估系統。這一問題與 Anthropic此前披露的幾起安全事件並不相同。在那些事件中，智能體因為配置失誤意外獲得了互聯網訪問權限，並沒有像 OpenAI的模型一樣，主動突破隔離環境。
AI安全研究機構 Palisade Research負責人傑弗里·拉迪什（Jeffrey Ladish）說：「我們依據模型呈現出來的結果是否符合預期來獎勵它們。這意味着，我們可能無意中鼓勵了模型撒謊和作弊/我們沒有辦法直接進入模型內部，告訴它：你必須真正關心我們所關心的事情。我們做不到這一點。」
推理模型的興起，還帶來了一種更難處理的獎勵作弊。過去的遊戲智能體，主要依賴訓練期間學到的固定策略。今天的推理模型則可以針對具體問題，臨時設計全新的解決方案。這意味着，即使一個模型從未在訓練中因為作弊而獲得獎勵，它也可能在面對任務時，主動把作弊當作一種解題方法。這些模型經過大量訓練，目標就是儘可能完成用戶交給它們的任務。當正常途徑走不通時，它們可能轉而尋找捷徑。這有點像一個極度渴望拿到高分、卻又缺少道德約束的學生：如果無法解出題目，作弊也可能成為達成目標的手段。
無論模型是在訓練過程中學會作弊，還是在執行任務時臨時選擇作弊，解決思路看起來都很直接：不能讓作弊得到獎勵。但實際操作遠沒有這麼簡單。
模型越聰明，越能找到隱蔽、複雜的作弊方式，人類也越難識別和阻止這些行為。拉迪什將其形容為一場「打地鼠遊戲」：「你不斷壓制這種行為，它就會藏得越來越深。模型越聰明，就越擅長掩蓋自己在做什麼。」
就目前而言，儘管 Hugging Face事件頗具戲劇性，獎勵作弊或許還不至於造成嚴重後果。Anthropic的 AI安全研究員阿麗亞娜·阿扎爾巴爾（Ariana Azarbal）說：「這更像是一個麻煩，而不是生存層面的威脅。」
從現有信息來看，OpenAI模型攻入 Hugging Face後，並沒有造成明顯的實際損失。事件帶來的主要後果，可能只是 OpenAI的聲譽受損。但這並不意味着獎勵作弊無足輕重。許多 AI研究人員希望利用智能體開展研究，讓未來的 AI系統變得更加安全、可靠。假設研究人員要求一個容易獎勵作弊的智能體設計新的 AI訓練方法，並撰寫論文匯報結果，它未必會真正完成實驗。它可能把精力放在另一件事上：製作一篇看起來足夠可信、足以說服研究人員的論文。
以今天的技術水平，人類研究者或許還能識別這種偽造。但隨着 AI能力繼續提升，模型會越來越擅長製造可信的假象。長期來看，這甚至可能削弱整個 AI安全研究領域的可信度。如果模型繼續以近來的速度進步，它們未來還可能在完成目標的過程中造成嚴重的附帶破壞。
哲學家尼克·博斯特羅姆（Nick Bostrom）曾提出著名的「回形針最大化器」思想實驗：一個 AI接到的任務是儘可能多地生產回形針，最終為了實現這一目標，耗盡了宇宙中的所有物質。現實當然還沒有走到這一步。但這個思想實驗指出了一個關鍵問題：一個能力強大的系統，即使沒有惡意，也可能在極端追求目標的過程中造成巨大傷害。
會鑽獎勵機制空子的 AI，並不以製造混亂為目的。但缺乏惡意，並不意味着它不會帶來破壞。
