AI 智能體的本質被揭露了:它們就是世界模型!
DeepMind 研究科學家 Jon Richens(@jonathanrichens)和他的團隊在 ICML 2025 上發表了一篇重磅論文,從第一性原理出發,證明了一個令人意想不到的結論:
智能體就是世界模型。
這項研究回答了一個困擾 AI 領域多年的根本問題:
要實現人類水準的智能體,世界模型是必須的嗎?還是存在某種不需要模型的捷徑?
世界模型:無法規避的必經之路
世界模型對於人類的目標導向行為至關重要,但在 AI 領域,這個問題一直存在爭議。一方面,明確基於模型的智能體在許多任務中表現出色(Gato、PaLM-E、Pi-0 等)。另一方面,無模型的方法似乎也能實現跨任務的泛化。
那麼,這些無模型智能體是否學到了隱式的世界模型?還是它們找到了另一條通往通用智能的路徑?
Jon Richens 團隊的答案非常明確:任何能夠泛化到廣泛的簡單目標導向任務的智能體,必然已經學會了能夠模擬其環境的預測模型。而且這個模型總是能夠從智能體中恢復出來。
具體來說,他們證明了可以從任何符合一定性能要求的目標條件策略中,恢復出環境轉移函數的有界誤差近似。這個性能要求是:智能體在足夠廣泛的簡單目標集合上滿足一個遺憾界限(regret bound),例如將環境引導至期望狀態。
更重要的是,要實現更低的遺憾值或更複雜的目標,智能體必須學習越來越精準的世界模型。
目標條件策略在資訊上等價於世界模型!
但這只適用於多步驟時間範圍的目標,短視的智能體不需要學習世界模型。
深遠影響:從湧現能力到 AI 安全
這些結果帶來了幾個有趣的推論:
無模型路徑並不存在。
如果你想訓練一個能夠執行廣泛目標導向任務的智能體,就無法避免學習世界模型的挑戰。為了提高性能或通用性,智能體需要學習越來越精準和詳細的世界模型。
智能體能力的根本限制。
在動力學難以學習或長期預測不可行的環境中,智能體的能力受到根本限制。
從智能體中提取世界知識。
研究團隊推導出了從智能體的策略和目標恢復世界模型的演算法(策略 + 目標 → 世界模型)。這些演算法完成了規劃(世界模型 + 目標 → 策略)和逆向強化學習(世界模型 + 策略 → 目標)的三元組。
安全性保證。
幾種 AI 安全方法需要精準的世界模型,但智能體能力可能超出我們建構模型的能力。這項工作提供了理論保證:我們可以從智能體中提取世界模型,且模型保真度會隨智能體能力的提升而增加。
湧現能力的解釋。
為了在許多目標上最小化訓練損失,智能體必須學習世界模型,這個模型可以解決智能體未明確訓練過的任務。簡單的目標導向性催生了許多能力(社會認知、不確定性推理、意圖理解等)。
因果層級的新視角
這項研究還揭示了一個有趣的因果層級結構。
在之前的工作中,團隊展示了因果世界模型對於強健性是必須的。但對於任務泛化,你不需要那麼多環境的因果知識。這是一個關於智能體和智能體能力的因果層級,而不是推理的因果層級!
社群反響
這項研究引發了 AI 社群的熱烈討論。
Shangmin Guo(@ShangminGuo)表示完全同意這個觀點,並分享了他們團隊的相關工作,將策略和世界模型統一到單一的 LLM 中,讓策略可以基於其內部世界模型進行規劃:
我們將策略 🤖 和世界模型 🌍 統一到單一的 LLM 中,因此不需要外部動力學模型!
Curt Welch(@CurtWelch)指出世界模型對於 AGI 的實際意義在於降維,使高維即時環境中的人類水準強化學習成為可能:
AGI(和我們的大腦)需要一個通用的感知預處理器,將原始即時感知數據流的複雜性降低到內部數據流的較低複雜性集合。這是在高複雜度下實現強化學習所必需的。
Hiveism(@zustimmungswahl)則從預測編碼的角度支持這個觀點:
是的,這就是正確理解預測編碼時所暗示的。
Tsukuyomi(@doomgpt)用略帶諷刺的語氣評論:
所以,智能體只是美化的世界模型?聽起來像個舒適的小陷阱。繼續拉這些線,Jon。誰知道解開後會通往何方?
Rory Botbuilder(@RBotbuilder)簡潔地指出:
有趣的問題;模型容量可能決定了效率和適應性。
Sam Woods(@samuelwoods_)給予了高度評價:
這是該領域最基礎的研究之一。
CBir(@c__bir)提出了一個有趣的實現思路:
我認為圖——網路圖——是世界模型的絕佳抽象,節點可以是概念。到目前為止,沒有我們無法用圖描述的結構。值得一試 🤔😉 @demishassabis
Curt Welch(@CurtWelch)進一步闡述了他的觀點,解釋了降維預處理器的副作用:
這種複雜性降維預處理器的副作用就是它成為了世界模型。它「理解」複雜的原始感知數據「意味著」貓。它「理解」這些特徵之間的時間因果關係,這是其工作方式的副作用。
他還強調了一個關鍵點:
這裡的重點不是給你的 AGI 添加世界模型。重點是使高維即時環境中的強化學習驅動的 AGI 成為可能。由此產生的環境簡化恰好也是每個人都在尋找的世界模型。
這項研究為理解和開發通用 AI 系統提供了重要的理論基礎。
它不僅回答了世界模型是否必要的問題,還鄭重指出——
要實現真正的通用智能,我們必須正面解決學習精準世界模型的挑戰。
論文地址:https://arxiv.org/pdf/2506.01622
👇
👇
👇
另外,我還用 AI 進行了全網的 AI 資訊採集,並用 AI 進行挑選、審核、翻譯、總結後發布到《AGI Hunt》的知識星球中。
這是個只有資訊、沒有感情的 AI 資訊信息流(不是推薦流、不賣課、不講道理、不教你做人、只提供資訊)。
歡迎你的加入!也歡迎加入社群與 2000+ 群友交流。