前OpenAI大佬發「暴論」:大模型終將崩潰 越學越傻

AI過目不忘是詛咒，強化學習愚蠢又瘋狂，代碼寫得一團糟，AGI還得再等十年……智東西10月21日報道，近日，前特斯拉AI總監、OpenAI創始成員安德烈·卡帕西（Andrej Karpathy）進行了一場長達2.5小時的深度訪談，系統性地分享了他對AI現狀與未來的深刻洞察，其諸多觀點挑戰主流認知，極具啟發性。當業內普遍熱議「智能體之年」時，Karpathy卻冷靜地提出，這將是「智能體的十年」。他指出，要打造出真正能像實習生一樣可靠工作的AI智能體，仍需攻克多模態、持續學習、使用計算機等核心瓶頸，這大約需要十年時間。

Karpathy以他近期開源的nanochat項目為例，揭示了大語言模型存在的「認知缺陷」。在需要精確架構的創新性編程任務中，AI助手因過度依賴訓練數據中的常見模式，反而會誤解定製化代碼、增加不必要的複雜性，最終「讓代碼庫膨脹，簡直是一團糟」。

對於推動大模型疊代的主流方法——強化學習，Karpathy的批評尤為犀利。他形象地比喻道，這種方法本質上是「用吸管吸監督信號」，即艱難地將最終結果的單一信號分攤到整個複雜行動過程中，他認為這既低效又荒謬。

通過與人類學習方式的對比，Karpathy指出了當前大模型訓練的兩個關鍵缺陷：「模型坍縮/模型崩潰（model collapse）」導致生成內容多樣性枯竭，以及「過度記憶」阻礙了其像人類一樣發現通用模式。

這如同一個死循環：用模型生成的數據訓練新模型，只會讓結果越來越狹隘。有趣的是，Karpathy認為，人類同樣會「崩潰」並固守陳規，而大腦或許正通過「做夢」引入隨機性（熵）來對抗這一趨勢。

在衡量AI進展時，Karpathy認為應更關注其在具體經濟任務中的實際表現，而非抽象指標。他預判，AGI對宏觀經濟增長的推動將是緩慢而持續的，會像計算機、手機等技術一樣，悄然融入並延續原有的約2%的GDP增長態勢。

儘管前景漫長，Karpathy卻堅信我們早已處於「智能爆炸」之中。他從一個更宏大的視角闡述：從歷史尺度看，這場變革猶如一場「煙花盛宴」，而我們正以慢動作見證着它的發生。

該訪談內容在外網廣泛傳播，社交平台X上很多網友的評價是「必看」、「每一分鐘都彌足珍貴」、「絕對值得一看」……這些顛覆認知的觀點如何而來？又指向什麼？智東西對截取了2.5小時訪談中的核心內容，進行了不改變原意的編輯。



01.AGI仍需十年時間，多模態、持續學習能力是瓶頸當業內熱議「智能體之年」時，Karpathy卻提出這是「智能體的十年」。那麼是什麼瓶頸需要去攻克十年？

主要對話內容如下：

Dwarkesh Patel：Andrej，為什麼你說這是智能體的十年，而不是一個智能體年？

Andrej Karpathy：這實際上是對之前一句名言的回應，我不確定這句話是誰說的，他們暗示就大語言模型及其未來發展而言，現在是智能體的十年。這句話之所以觸動我，是因為業內存在一些過度預測的情況。

一些早期的智能體令人印象深刻，比如Claude和Codex等已被廣泛使用，但我仍然覺得還有很多工作要做，我們會和這些東西協作十年之久。

Dwarkesh Patel：您認為哪些事情需要十年才能實現？瓶頸是什麼？

Andrej Karpathy：真正讓它發揮作用。我們會把智能體想像成僱傭的員工或實習生，但目前它們顯然做不到，原因是它們根本就不行——不夠智能，不夠多模態，無法使用計算機，缺乏持續學習能力等。他們的認知能力不足，所以根本沒用，解決所有這些問題大概需要十年時間。

Dwarkesh Patel：為什麼是10年，而不是1年或者50年？

Andrej Karpathy：這就涉及到我個人的一些直覺了，同時也是基於我在該領域的經驗所做的一點推斷。我接觸AI領域已有近二十年，不算特別久。既有經歷讓我認為當下問題是可解決、可克服的，但難度依然不小。如果綜合權衡一下，我感覺大概需要十年時間才能攻克。

02.大語言模型仍有認知缺陷，編程模型做得「一團糟」10月14日，Karpathy開源nanochat，號稱可以只用不到100美元（約合人民幣711.5元）訓練出「簡易版ChatGPT」，一經發佈在GitHub上就獲得了5.6k星。

但在構建nanochat代碼庫時，Karpathy發現當前AI編程助手存在明顯局限，幾乎沒有幫助，這是為什麼？

主要對話內容如下：

Dwarkesh Patel：你在推特上談到編程模型對你構建（nanochat）代碼庫幾乎沒有幫助，為什麼？

Andrej Karpathy：我大概花了一個多月的時間搭建了這個代碼庫。我認為現在人們與代碼的交互方式主要分為三類：完全拒絕大語言模型、使用模型中的自動完成功能輔助編寫（我現在的階段），以及氛圍編程。我會在特定環境下使用它們。但這些都是你可用的工具，你必須了解它們擅長什麼、不擅長什麼，以及何時使用它們。

nanochat不是適合的場景，因為它是一個相當獨特的代碼庫。它幾乎是智力密集型代碼，所有東西都必須非常精確地編寫。這些編程模型存在很多認知缺陷。舉個例子，他們總是誤解代碼，因為他們記憶了太多互聯網上典型的做事方式，而我根本沒有採用這些方式。

Dwarkesh Patel：舉個例子？

Andrej Karpathy：我使用了八塊GPU，它們都在進行前向和後向計算。在它們之間同步梯度的方法是使用PyTorch的分佈式數據並行容器，當你進行後向計算時，它會自動開始通信和同步梯度。我認為沒有必要用DDP容器，把它捨棄了，但編程模型試圖讓我使用DDP容器，還一直試圖搞亂代碼風格。

他們防禦性太強了，一直試圖構建一個生產代碼庫，而我不需要這些額外的東西。所以我覺得他們讓代碼庫膨脹，增加了複雜性，他們不斷誤解，還大量使用棄用的API。這簡直是一團糟，根本沒什麼用。

03.強化學習很糟糕，就像「用吸管吸監督信號」，愚蠢又瘋狂強化學習是當下大模型疊代的一個主流方法，然而Karpathy犀利地指出，這種方法本質上是在「用吸管吸監督信號」——將單一結果信號艱難地分攤到整個複雜行動過程中，既低效又荒謬，與人類通過精細復盤的學習方式截然不同。

主要對話內容如下：

Dwarkesh Patel：來聊聊強化學習，如何理解人類僅通過與環境的互動就能構建一個豐富的世界模型，而且幾乎與場景結束時的獎勵無關？

Andrej Karpathy：人類不會使用強化學習。強化學習比我想像得要糟糕得多，當然其他的方法更糟。在強化學習中，它幾乎假設你得出正確答案的每一個小細節都是正確的，但這並非事實。你可能在找到正確答案之前，一直在走錯路。你做的每一個錯誤，只要你最終得到了正確的答案，都會被加權為「繼續這樣做」。這很糟糕，它就是噪音。

你做了這麼多工作，最後卻只得到一個數字。基於這個數字，你就會把整個軌跡的權重加起來，或者減去權重。我喜歡這樣說，你就像在「用吸管吸着監督信號」。你做了這麼多工作，本來可能只需要一分鐘就能完成，但現在你卻把最終獎勵信號的監督信息一點點地吸了進去，然後把它傳播到整個軌跡上，用它來加權或減權軌跡。

這簡直愚蠢又瘋狂。人類永遠不會這樣做。

首先，人類永遠不會進行數百次的部署；其次，當一個人找到解決方案時，他們會經歷一個相當精細的復盤過程：「好吧，我覺得這些部分我做得很好，這些部分我做得不太好。我應該這樣做或那樣做。」他們會仔細思考，目前的大模型訓練中沒有類似的東西。但我確實看到一些論文試圖這樣做。

Dwarkesh Patel：既然這一點顯而易見，那麼為什麼基於過程的監督作為一種替代方案，卻沒能成功地提升模型的能力呢？是什麼阻礙了我們使用這種替代範式？

Andrej Karpathy：基於過程的監督指的是我們不會在最後才設置獎勵機制。你完成了10分鐘的工作後，我不會告訴你做得好還是不好。我會在每一步都告訴你你做得有多好。我們沒有這樣做的原因是，如何正確地做到這一點很棘手。你只有部分解決方案，卻不知道如何分配功勞。

事實上，無論何時你使用大語言模型來分配獎勵，這些擁有數十億參數的龐然大物很容易被玩弄。如果你對它們進行強化學習，你幾乎肯定會找到對抗樣本來作為你的模型評判標準。所以你不能這樣做太久。你可能只進行10步或20步，也許會成功，但你不可能進行100步或1000步。它會在這個巨型模型的每一個角落和縫隙中找到所有這些虛假的東西，並找到欺騙它的方法。

04.與人類學習對比，AI面臨「隱性坍縮」危機，過目不忘成痛點與人類的學習方式作類比，Karpathy談及了大模型學習的兩個重要缺陷。

一是模型坍縮問題。當前AI僅被動預測數據，缺乏人類式的主動思考，導致其生成內容多樣性枯竭，即出現隱性坍縮。

二是過度記憶問題。人類因不完美記憶而擅長發現通用模式；AI則困於精確記憶，弱於泛化。Karpathy認為，增強AI思考能力需平衡記憶與算法，此為核心挑戰。

主要對話內容如下：

Dwarkesh Patel：在機器學習領域，與人類白日夢、睡眠或單純反思相對應的概念是什麼？

Andrej Karpathy：的確，我們在這方面遺漏了一些關鍵維度。舉個例子，就說讀書吧。目前大型語言模型的「讀書」只是被動地預測下一個詞，並從中汲取知識。但這並非人類的學習方式——書籍對我們而言，更像是一組激發思考、討論與內化的「提示詞」。人類通過這種主動加工來真正掌握知識，而AI完全缺乏這一機制。我期望未來能讓模型在預訓練中融入對材料的深度反思與消化環節，但這仍是待解的研究課題。

這並非易事，舉個例子，我們為什麼不用合成數據訓練模型？核心問題在於模型生成的樣本存在 「隱性坍縮（silently collapsed）」—— 單看樣本無明顯異常，但實則僅覆蓋極小的內容思考範圍，數據分佈過於局限（比如ChatGPT只會講幾個笑話）。這類樣本缺乏人類內容的豐富性、多樣性與高熵值，難以支撐有效訓練。如何在避免坍縮的同時維持熵值，讓合成數據發揮作用，仍是未解決的研究課題。

我認為這個問題可能沒有根本的解決方案。我還認為人類會隨着時間的推移而坍縮，或者說會崩潰。這就是為什麼孩子們還沒有過度適應，他們會說一些讓你震驚的話，因為他們還沒有崩潰，但我們已經崩潰了。我們最終會重複同樣的想法，會說越來越多同樣的話，學習率就會下降，崩潰會持續惡化，然後一切都會惡化。

Dwarkesh Patel：你看過這篇超級有趣的論文嗎？它說做夢是防止這種過度擬合和崩潰的一種方式。它能讓你置身於與日常現實截然不同的奇特情境中，從而防止這種過度擬合。

Andrej Karpathy：這是一個有趣的想法。我認為當你在腦海中生成事物並加以處理時，你是在用自己的樣本進行訓練，用合成數據進行訓練。如果你這樣做太久，就會偏離軌道，最終崩潰。生活中你總是需要尋找熵。與他人交談是熵的重要來源，諸如此類。也許大腦也建立了一些內部機制來增加這一過程中的熵。這是一個有趣的想法。

Dwarkesh Patel：有一個不成熟的想法，記憶力極差、易遺忘的幼兒，反而擅長學習新語言和探索世界；大語言模型雖能精準複述信息，卻難快速掌握抽象概念；成年人介於二者之間。這其中或許有值得探究的內容？

Andrej Karpathy：人類比大語言模型更容易「只見樹木不見森林」。我們不那麼擅長記憶，但這是一個特點而非缺點。

大語言模型的記憶力極強，它們被預訓練文檔的記憶所困擾，從某種意義上說，這可能非常分散它們的注意力。與大語言模型相比，人類不太擅長記憶，所以我們被迫在更普遍的意義上尋找模式。這是人類的特性而非缺陷，因為它迫使你只學習可泛化的部分。

所以，當我談到認知核心時，我希望大語言模型更少地進行記憶，只需保留用於思考的算法、實驗的想法以及所有這些用於行動的認知粘合劑。

Dwarkesh Patel：這也與防止模型崩潰（model collapse）有關嗎？解決方案是什麼？

Andrej Karpathy：我不確定，這大概是另一個分支。模型的記憶力太強了，我們應該想辦法把它去掉。人類的記憶力差得多，但這也是一件好事。

談到解決方案，你可以想像一下對熵之類的東西進行正則化。我猜它們在經驗上效果不佳，因為現在的模型已經坍縮了。但我要說的是，我們想要的大多數任務實際上並不要求多樣性，這或許就是問題的答案。

前沿實驗室正在努力讓這些模型變得實用。我覺得輸出結果的多樣性並不重要……首先，處理和評估這些事情要困難得多，但這可能並不是捕捉大部分價值的關鍵。

05.我們處於慢動作 「煙花盛宴」中，但AGI不會使GDP突進增長人們提出了不同的AGI進展衡量標準。例如用「教育水平」類比：從高中生到博士生；或用「任務時長」衡量：從完成一分鐘任務到一周任務。

但Karpathy對這些標準都不認同。他認為更應關注AI在具體經濟任務中的實際表現，而非這些抽象指標。

主要對話內容如下：

Dwarkesh Patel：我們應該如何看待AI的進步？

Andrej Karpathy：我幾乎想拒絕「如何衡量AGI進展」這個問題，因為AI只是計算的延伸。我堅持OpenAI最初的AGI定義：一個能完成任何具有經濟價值、性能達到或超過人類水平的系統。人們在探討進展時把實體工作（可能占經濟總量超80%？）排除在外，這與最初的定義相比，是一個相當大的讓步。即便只拿下剩下的「知識工作」市場，那也是一個價值數萬億美元的龐大市場。

按OpenAI的定義，AI進展其實有限。以放射科醫生為例，預測其被取代是錯誤的，因為工作本身複雜。真正可能自動化的是如呼叫中心員工的工作——簡單、重複、數碼化。即便如此，我期待的也是「自主性滑塊」：AI完成80%工作量，人類負責監督20%，管理不完善的AI。這將是漸進過程，而非取代。

Dwarkesh Patel：目前的模型更接近 「編譯器」 工具而非人類 「替代」。但如果真的出現AGI，它理應能勝任你的工作。要是能並行複製出上百萬個 「你」，你認為會極大加速AI的發展進程嗎？是否會出現 「智能爆炸」？

Andrej Karpathy：我認為會的，但這其實只是常規發展而已 ——因為我們早已身處智能爆炸之中，而且已經持續數十年了。本質上，GDP曲線就是工業領域諸多方面的指數加權總和，能直觀反映這一點。

數百年來，所有事物都在逐步實現自動化：工業革命解決了物理層面的自動化，涉及機械組件、工具製造等領域；編譯器則是早期的軟件自動化產物，諸如此類。長期以來，我們一直在進行遞歸式的自我提升，處於智能爆炸的進程中。

換個角度看，若不考慮生物機制等因素，地球曾是個十分單調的地方，樣貌幾乎沒什麼變化。但從太空俯瞰就會發現，我們正處於一場 「煙花盛宴」 之中，只是我們是以慢動作在見證這一切。我堅信這種智能爆炸早已發生並持續了很久。

再說一次，在我看來，AI並非與長期以來的技術發展割裂的獨特技術。

Dwarkesh Patel：你認為它與這種超指數增長趨勢是一脈相承的？

Andrej Karpathy：沒錯。這也是我對這個話題很感興趣的原因。我曾試圖在GDP數據中找到AI的痕跡，本以為GDP 會因此出現顯著增長，但後來我研究了其他一些我認為具有變革性的技術，比如計算機、手機等，卻發現也無法在GDP數據中看到它們的明顯影響，GDP依然保持着原有的指數增長態勢。

所有技術的影響都被分散開來，傳播過程十分緩慢，最終都被平均到了那條不變的指數增長曲線中。計算機的情況也完全一樣，你無法在GDP數據中找到 「哦，我們現在有計算機了」 這樣的明顯拐點，因為它的發展進程太過緩慢。

AI也會呈現出完全相同的態勢。它本質上只是更多形式的自動化，一種新型計算機和新型計算系統，它存在諸多問題，其影響會隨着時間慢慢擴散，最終也會融入那條既定的指數增長曲線。

這條指數曲線仍將持續攀升，變得愈發陡峭。生活在那樣的環境中，將會是一種非常陌生的體驗。

Dwarkesh Patel：你是說，從工業革命前到現在的趨勢來看，呈現的是一種超指數增長。那如果把AI納入這個趨勢圖，它會讓增長率提升到20%甚至200%嗎？還是說增長率始終保持不變，一直是2%？

Andrej Karpathy：增長率大致也保持穩定吧。

Dwarkesh Patel：只在過去兩三百年裏保持穩定而已。但縱觀人類歷史，增長率其實是爆發式增長的，從0%一路不斷加速達到了2%的增長率。

Andrej Karpathy：我曾嘗試在GDP曲線中尋找AI的影響痕跡，但我逐漸意識到這種思路是錯誤的。

06.結語：道阻且艱，AGI尚有很多瓶頸需突破在這一採訪中，Karpathy還談及了ASI（人工超級智能）、智能與文化的進化、自動駕駛發展、教育等具有實際意義的話題方向，比如他還提出「ASI可能會讓人喪失對日益複雜的自動化系統的理解和掌控」，「未來智能體或許能演化出文化」、「要實現自動駕駛99%乃至99.9%的可靠性需要付出巨大的持久的努力」等。

在這場關於AI未來的深刻對話中，Karpathy既描繪了激動人心的技術遠景，也毫不避諱地指出了當前的根本性瓶頸。這提醒我們，在技術狂熱中保持清醒的認知，或許比盲目樂觀更能推動真正的進步。通往AGI的道路沒有捷徑，唯有持續攻克那些「不性感」的基礎問題，才能讓這場變革真正到來。

了解訪談完整內容，地址如下：

https://www.dwarkesh.com/p/andrej-karpathy