Ilya Sutskever 終於現身了，而且是一場 90 多分鐘的深度訪談！
去年，Ilya Sutskever 離開 OpenAI 的消息震驚了整個科技圈。身為深度學習領域的傳奇人物，從 AlexNet 到 AlphaGo，再到 GPT 系列，他的名字幾乎與過去十年 AI 的每一次重大突破緊密相連。
如今，他創立了新公司 Safe Superintelligence (SSI)，致力研究「超級智能」，但極少出現在公眾視野。
今天，他出現在 Dwarkesh Patel 的訪談中，系統性地闡述了他對當前 AI 發展階段的判斷、核心技術瓶頸以及對未來的構想。
Ilya 的核心觀點是：我們正在結束一個以「算力規模化」(Scaling) 為核心的時代，重新回到一個以「基礎研究」(Research) 為驅動的時代。
（本文僅為部分資訊的摘錄，推薦大家自己去看原影片，資訊量很大）
AI 的「鋸齒狀」前沿：為何模型時而天才、時而愚蠢？
我們都感受到當前 AI 模型的矛盾之處。一方面，它們在各種複雜的基準測試 (evals) 上取得了驚人的分數，解決了許多曾經被認為是人類專屬領域的難題。但另一方面，在實際應用中，它們的表現卻非常不穩定，經濟影響力也遠未達到預期。
Ilya 將這種現象稱為模型的「鋸齒狀」能力邊界。他舉了一個生動的例子：
「你讓模型幫你寫程式碼，它寫出了一個 bug。你指出 bug，它會說：『天啊，你說得太對了，我馬上修復。』然後它引入了第二個 bug。你再告訴它這個新 bug，它又會說：『我怎麼會犯這種錯？』然後它把第一個 bug 又改回來了。」
為什麼會這樣？Ilya 提出了兩個可能的解釋：
解釋一：強化學習 (RL) 訓練的副作用。
目前的強化學習，特別是基於人類回饋的強化學習 (RLHF)，可能讓模型變得「過於專注和狹隘」。為了在特定任務上獲得高分，模型學會了某種「套路」，但這損害了它的全局意識和常識判斷能力。
解釋二：研究人員無意識的「獎勵黑客」。
現在的模型之所以像是「只會做題的書呆子」，是因為我們把訓練環境設計成「為了在競賽中拿第一」，而不是「為了成為一個有品位的程式設計師」。
Ilya 認為，真正的「reward hacking」可能發生在人類研究員身上。為了讓模型發布時在排行榜上看起来很棒，研究團隊會不自覺地圍繞評測基準來設計 RL 的訓練環境。他們會問：「什麼樣的 RL 訓練能幫助模型在這個任務上表現更好？」
這導致模型被過度訓練以適應評測，而不是真實世界。Ilya 用了一個比喻：
「假設有兩個學生。學生 A 決定成為頂級的程式設計競賽選手，他为此練習了 10,000 小時，背誦了所有演算法和證明技巧。他最終成為了冠軍。學生 B 對程式設計競賽也很感興趣，但他只練習了 100 小時，也取得了不錯的成績。你認為哪一個在未來的職業生涯中會做得更好？」
答案顯然是學生 B。他擁有真正的理解力和泛化能力。而我們現在的 AI 模型，更像是學生 A 的極端版本。我們蒐集了所有已知的程式設計競賽題目，甚至用資料增強創造出更多題目來訓練它。它當然能在競賽中取得高分，但我們很難期待它能將這種能力泛化到其他需要「品味」和「判斷力」的軟體工程任務中。
這種對評測的過度最佳化，疊加模型本身「不充分的泛化能力」，共同解釋了我們今天看到的評測表現與實際應用之間的巨大鴻溝。
從「算力規模化時代」重返「研究時代」：我們究竟在 Scale 什麼？
Ilya 認為，Scale law 的成功之處在於，它為企業決策提供了一種低風險的資源投入方式。因為大家明白，只要等比例地将算力和資料輸入到特定規模的神經網路中，就能獲得不錯的成果。
Ilya 將 AI 的發展劃分為幾個階段：
• 2012-2020: 研究時代 (Age of Research)。這個時期，研究人員不斷嘗試各種新想法、新架構。AlexNet、ResNet、Transformer 等都是這個時代的產物。
• 2020-2025: 規模時代 (Age of Scaling)。隨著 GPT-3 和 Scaling Laws 的出現，大家突然意識到一個簡單粗暴但極其有效的「配方」：用更多的算力、更多的資料、更大的模型進行預訓練 (Pre-training)，就能得到更好的結果。「Scaling」這個詞擁有巨大的魔力，因為它為整個產業指明了一個低風險、高確定性的投資方向。
• 2025-?: 回歸研究時代 (Return to the Age of Research)。如今，Scaling 的魔法正在失效，大家必須重新開始研究新的突破。
為什麼會發生這種轉變？
首先，預訓練的資料是有限的。網際網路的高品質文字資料正在被耗盡。哪怕強如谷歌，能為 Gemini 榨取更多資料價值，但資料本身終究是有限的。
其次，單純增加 100 倍的算力，已經無法保證帶來質變。Ilya 認為，業界已經不再堅信只要投入更多算力就能解決一切問題。
當「Scaling」這個詞不再是萬能鑰匙時，整個領域就必須回頭去尋找新的、更有效利用計算資源的方法。我們又回到了那個需要探索和創新的「研究時代」，只不過這次我們手握著比以往任何時候都強大的電腦。
Ilya 引用了 Twitter 上的一个說法，來諷刺矽谷「執行為王，想法廉價」的陳腔濫調：
「如果想法真的那麼廉價，為什麼現在沒有人能提出新想法？」
在「規模時代」，算力是瓶頸，所以一個簡單的 Scaling 想法就能獲得巨大成功。而現在，當算力變得空前巨大時，「想法」本身重新成為了瓶頸。整個產業陷入一種「公司比想法多」的尷尬局面。
這正是 SSI 這樣的公司的成立契機。他們賭的是，未來的突破將來自全新的想法，而不是在現有範式上無盡地堆砌資源。
大模型的核心瓶頸是泛化能力
如果說我們回到了研究時代，那麼最核心的研究問題是什麼？Ilya 給出了一個清晰的答案：泛化 (Generalization)。
「這些模型在泛化能力上比人類差得驚人，這一點非常明顯。這似乎是一個非常根本性的問題。」
人類的學習效率和泛化能力是目前 AI 無法企及的。一個青少年只需要十幾個小時就能學會開車，但自動駕駛系統需要數十億英里的資料。一個五歲的孩子，儘管資料攝入量和多樣性都極其有限，但已經對世界有了非常穩健的認知。
Ilya 認為，對於視覺、運動等能力，我們可以將其歸功於數百萬年進化帶來的「先驗知識」。但對於程式設計、數學這些近代才出現的技能，人類同樣展現出強大的學習能力。這表明，人類可能擁有一種更根本、更優秀的機器學習演算法。
這個演算法的關鍵是什麼？Ilya 提到了一个重要的概念：價值函數 (Value Function)。
在強化學習中，價值函數可以告訴智能體在某個中間狀態下，它做得好不好，而不需要等到任務最終完成才獲得獎勵訊號。這就像下棋時，你不需要等輸掉整盤棋才知道「丟掉一個皇后是糟糕的一步」。價值函數可以極大地提高學習效率。
Ilya 認為，人類擁有一個極其強大、內嵌的價值函數，而情緒 (Emotions) 就是這個價值函數的重要組成部分。他引用了一個神經科學的案例：
「一名患者因為大腦損傷失去了情緒處理能力。他依然聰明、善於言辭，能解決邏輯謎題，但在生活中卻完全無法做決策。他會花幾個小時來決定穿哪雙襪子，並且會做出災難性的財務決策。」
這個案例表明，由進化編碼的情緒，為我們提供了一個簡單但極其穩健的決策指引系統，讓我們能夠在一個複雜的世界中有效行動。
目前 AI 模型的價值函數非常脆弱，甚至可以說幾乎沒有。Ilya 相信，如果能為 AI 建構起類似人類這樣穩健的價值函數，將是解決泛化問題的關鍵一步。
這是一個價值萬億美元的問題。Ilya 坦言，他對此有很多想法，但「不幸的是，我們生活在一个並非所有機器學習想法都能被自由討論的世界裡」。這暗示著 SSI 正在秘密探索的方向，可能與當前主流的 RL 範式有根本性的不同。
SSI 的路徑：重新定義「超級智能」
Ilya 對 AGI (通用人工智慧) 這個術語提出了反思。他認為「AGI」這個詞的誕生，主要是為了區別於只能下棋的「狹義 AI」(Narrow AI)。它和「Pre-training」這個概念相結合，塑造了我們對未來 AI 的想像：一個透過海量資料預訓練、無所不知、無所不能的成品。
但 Ilya 指出，這種想像其實過頭了，甚至連人類自己都不是這種意義上的「AGI」。人類擁有基礎技能，但絕大多數知識都是透過「持續學習」(Continual Learning) 獲得的。
因此，SSI 追求的超級智能，可能不是一個靜態的、全知的「成品」，而更像一個「超級智能的 15 歲少年」。
「它是一個偉大的學生，非常渴望學習。你可以派它去當程式設計師，去當醫生，去學習任何東西。它本身不是一個完成了的、投放於世界的产品，而是一個在部署過程中不斷學習、試錯的過程。」
這是一個極其重要的範式轉變。未來的超級智能不是一個被預先訓練好的「神」，而是一個擁有超凡學習能力的「學習演算法」。它被部署到經濟體的各個角落，像人類員工一樣加入組織，在工作中學習特定領域的技能。
更關鍵的是，這些分布在不同崗位上的 AI 實例可以「合併它們的學習成果」。一個 AI 實例學會了做手術，另一個學會了寫法律文書，它們的知識和技能可以被整合到一個統一的模型中。這是人類無法做到的。
這種模式將帶來兩個後果：
1. 功能性超級智能：即使沒有演算法上的遞迴自我改進，這個模型也會因為能夠同時掌握人類所有職業技能而變得功能上無所不知。
2. 劇烈的經濟增長：一個可以快速學習任何工作的超級勞動力被大規模部署，必然會帶來一段時期內極快的經濟增長。
這就是 SSI 設想的通往超級智能的路徑，它不是一次性的「爆炸」，而是一個透過持續學習和廣泛部署實現的漸進過程。
對齊難題與未來圖景
針對這種強大的、能持續學習的 AI，其安全性和對齊 (Alignment) 問題也變得更为嚴峻。Ilya 對此提出了幾個核心觀點：
1. AI 的力量必須被「展示」出來。
關於 AGI 的討論之所以常常顯得空洞，是因為我們談論的是一個不存在的、難以想像的系統。Ilya 認為，只有讓世界真實地感受到 AI 的力量，人們才會真正嚴肅地對待安全問題。他預測，隨著 AI 變得越來越強大，我們會看到一些前所未有的變化：
• 競爭對手將展開安全合作：像 OpenAI 和 Anthropic 最近的合作只是一個開始。
• AI 公司將變得更加「偏執」：當公司內部人員親眼見證 AI 的能力開始讓他們感到不安時，他們對安全的態度會發生根本性轉變。
• 政府和公眾會要求介入：外部壓力將成為推動安全研究的重要力量。
2. 對齊的目標：「關心所有有情生命」。
當前的主流對齊思想是讓 AI 服務於人類。但 Ilya 提出了一个更大膽、也更具爭議的想法：建構一個關心所有「有情生命」(sentient life) 的 AI。
他認為這可能比單純讓 AI 關心人類更容易實現，因為 AI 本身最終也將是「有情」的。就像人類的鏡像神經元讓我們能對動物產生共情一樣，一個有自我意識的 AI，透過模擬其他生命來理解世界，可能會自然地產生對所有生命的關懷。
當然，這也帶來了新的問題：未來世界中 AI 的數量將遠遠超過人類。一個關心所有「有情生命」的 AI，將如何權衡人類的利益？這是一個開放性問題。
3. 長期均衡的方案：Neuralink++
Ilya 思考了非常長遠的未來。在一個由超級智能主導的世界裡，人類如何保持自己的主體性？一種常見的設想是每個人都有一个為自己服務的 AI。但這可能導致人類成為被動的「報告審閱者」，而不再是世界的參與者。
Ilya 提出了一個他自己並不喜歡、但認為可能是最終解決方案的路徑：透過類似 Neuralink++ 的技術，讓人類與 AI 融合。
「當 AI 理解了某件事，我們也透過『批發式』的資訊傳輸理解了它。當 AI 處於某種境地時，你也就完全地參與其中了。」
只有這樣，人類才能在智能爆炸的未來中，繼續成為歷史的積極參與者，而不是被動的旁觀者。
4. 進化的啟示：一個未解之謎
Ilya 還提出了一個關於進化的深刻謎題，它與對齊問題有著驚人的相似性。進化如何將「社會地位」這種高級、抽象的概念編碼到我們的基因裡，成為我們與生俱來的慾望？
低級慾望（如對甜食的渴望）很容易理解，可以透過簡單的化學訊號連接到底層獎勵中樞。但「關心社會評價」需要大腦進行大量複雜計算才能得出。進化是如何做到將這種高級計算的結果與我們的底層驅動力連接起來的？
Ilya 認為這是一個尚未解開的謎團。如果我們能理解進化是如何解決這個「對齊」問題的，或許能為 AI 對齊提供重要的啟示。
研究的「品味」是什麼？
身為公認擁有最佳「研究品味」(Research Taste) 的人，Ilya 分享了他的方法論。這對於任何從事創造性工作的人來說，都極具啟發性。
他認為，研究品味是一種「關於 AI 應該是什麼樣子的美學」。它由幾個要素構成：
• 美、簡潔與優雅 (Beauty, Simplicity, Elegance)：醜陋的、複雜的方案沒有容身之地。正確的方向往往是美的。
• 來自大腦的「正確」啟發 (Correct inspiration from the brain)：需要判斷大腦的哪些特徵是根本性的（如神經元、分散式表示、從經驗中學習），哪些是偶然的（如大腦皮層的褶皺）。
• 自上而下的信念 (Top-down belief)：當實驗結果不理想時，是什麼支撐你繼續下去？是對某個方向「它必須是這樣」的強烈信念。這種信念來自於上述多方面的美學和啟發。它能幫助你區分是方向錯了，還是程式碼裡有 bug。
這種由美學和第一性原理驅動的「自上而下的信念」，是穿越研究無人區、做出真正突破性工作的關鍵。
總結
Ilya Sutskever 這次訪談，為我們描繪了一幅與當前主流敘事不完全相同的 AI 未來圖景。
在這個圖景中，「算力為王」的時代正在落幕，對「泛化」等根本問題的基礎研究將重新成為舞台的中心。未來的超級智能將不是一個被一次性訓練出來的靜態產品，而是一個擁有超強學習能力、在與世界互動中不斷成長的「學習演算法」。
要確保這個未來是安全的，我們需要讓 AI 關心更廣泛的「有情生命」，並最終可能需要透過人機融合來維持人類在宇宙中的主體地位。
這一切的起點，是回歸研究的本質：用美學和第一性原理解驅動的「品味」，去尋找那個簡潔、優美且正確的答案。這或許正是 Ilya Sutskever 創立 SSI，並再次投身於未知探索的根本原因。
你覺得，世界正在等待的下一個「Transformer」時刻，會由 Ilya 和 SSI 帶來嗎？