您想知道的人工智慧乾貨，第一時間送達
版權聲明
圖片來源：CBS News
Z Highlights
超級智能一旦覺醒，可能具備欺騙人類、隱藏真實意圖的能力。它會假裝愚鈍、撒謊誤導，以實現自身目標。這意味著一旦它想掌控，我們將毫無防備之力，所有傳統的控制手段都可能形同虛設。
AI的加速發展雖然帶來了前所未有的生產力提升，但它也可能導致大規模失業、底層民眾被擠壓，甚至進一步削弱民主制度的穩定性。如果不進行有效治理，社會將滑向極端的貧富分化與結構性不公。
與氣候危機不同，AI風險不是通過停止某種排放就能解決。一旦強人工智能實現並失控，後果將是不可逆的。我們唯一的希望，是全民意識覺醒，通過公眾壓力迫使政府對大公司施加監管。
AI模型的核心“原料”：參數權重，原本是安全的屏障。一旦被開源，任何組織只需花費百萬級資金就能改造並部署超強模型，惡意行為者、極端政權、犯罪集團都可能據此製造“智力核武”，後果比核擴散更具現實危險。
Geoffrey Hinton，人工智慧領域先驅、圖神經網路和反向傳播演算法的奠基人之一，被譽為“AI教父”，曾任Google首席科學家，2023年因擔憂AI風險辭職。本次專訪錄製於CBS News王牌節目《60 Minutes》，聚焦AI發展速度、超級智能威脅與科技企業責任等核心議題，系Hinton離開Google後首次完整系統公開發聲。
AI加速崛起：比“預期更早”的超級智能時代
Scott Pelley：上次我們對話是在兩年零一個月前。我很好奇，這段時間裡您對未來的預期發生了哪些變化？
Geoffrey Hinton：AI的發展速度甚至超出了我的預期。尤其是現在，除了問答式AI，我們看到了更危險的Agent，因為它們可以在現實世界中執行操作。我認為目前的形勢比以往更令人擔憂。
Scott Pelley：不管你稱之為AGI、超級智能，還是其他名稱，總之，它們是極其強大的AI系統。您對這種系統的到來有具體的時間預測嗎？
Geoffrey Hinton：一年前我認為，它在未來5到20年內出現的可能性很大。現在我會將這個預測調整為4到19年。這比我們上次談話時更提前，當時你記得我是說大概20年左右。
Scott Pelley：所以現在您覺得，可能在10年甚至更短的時間內就會實現？
Geoffrey Hinton：是的。
Scott Pelley：那麼4到19年後真正進入這個階段，會是什麼樣的景象？
Geoffrey Hinton：我不太願意具體猜測，如果它決定接管，那種情形有太多種可能。我們之後肯定會討論“接管”這個話題。但即便先不考慮接管，僅僅是超級智能本身能做什麼，也已經足夠令人擔憂了。最理想的情境是：人類就像大公司裡一個糊塗的CEO，而AI就是極其聰明的助理，負責實際操盤所有事務，卻仍遵從CEO的意願。CEO以為自己在做決策，其實一切都是助理的功勞，而一切運行順利反而讓CEO更加自我感覺良好。這就是我心中“美好藍圖”的樣子。
Scott Pelley：您曾提到幾個值得樂觀的領域，能具體說說嗎？
Geoffrey Hinton：先從醫療開始。AI解讀醫學影像的能力將遠超人類醫生，這還算小事。幾年前我就預測，現在它應該已經超越專家水平，而實際上確實已相差無幾。很快它們將顯著超越人類醫生，因為它們能分析數百萬張X光片並從中累積經驗，這是人類醫生做不到的。它們將成為極其出色的家庭醫生：想像一下，一個AI曾經“接診”過一億個病例，包括你那種極其罕見的病症。它能整合你的基因組數據、所有檢測結果和親屬病史，而且永遠不會遺忘。這已經遠超任何人類醫生的水平。由AI輔助的醫生在診斷疑難病例方面也將遠勝單獨行醫的醫生。我們將獲得更高質量的醫療，它們還會設計出更好的藥物。
教育也是一個重要領域。眾所周知，私教可以顯著提高學習效率，而這些AI最終將成為最頂尖的私人教師。它們能夠精準識別你的理解偏差，並用最合適的案例幫助你融會貫通，可能將學習效率提升三到四倍。這對大學來說是個壞消息，但對人類整體來說是件好事。
Scott Pelley：那大學體系還能存續嗎？
Geoffrey Hinton：我認為很多方面還是會保留。頂尖大學的優秀研究生群體仍是實現突破性科研的最佳來源，而這種“學徒制”的模式可能仍將延續。
Scott Pelley：還有人希望AI能解決氣候危機，您怎麼看？
Geoffrey Hinton：我覺得會有幫助，比如它們可以用來設計更好的電池材料。它們現在也正被用於大氣碳捕獲。考慮到能耗問題，我不確定這個方案最終能否奏效，但至少是可行的。總體來說，我們將得到更優質的材料，甚至可能實現室溫超導。那將意味著我們可以在沙漠中建設大量太陽能發電站，並把電力輸送到數千英里之外。
Scott Pelley：還有其他積極影響嗎？
Geoffrey Hinton：幾乎所有行業的效率都會因此提升，因為每個企業都希望通過數據預測未來，而AI最擅長的正是預測分析。在大多數情況下，它的表現都優於傳統方法。這會帶來生產力的大幅躍升。比如當你打電話給微軟客服投訴問題時，接線員將是AI助手，它能給出更準確的解決方案。
Scott Pelley：幾年前我問您關於崗位被替代的問題，您當時似乎並不擔心。現在還這麼看嗎？
Geoffrey Hinton：不，現在我認為這將成為一個重大挑戰。AI近幾年發展突飛猛進。如果我現在是個客服專員，我肯定會非常焦慮。
Scott Pelley：那律師、記者、會計這些職業呢？
Geoffrey Hinton：也一樣，任何程式化的工作都難逃被取代。但像調查記者這類需要主觀能動性和道德憤怒驅動的崗位，可能會存續更久。不過，除了客服之外，我還擔心很多其他職業。所有常規崗位，比如標準文秘、律師助理這類工作，幾乎都將消亡。
Scott Pelley：那您考慮過大規模失業帶來的社會轉型問題嗎？
Geoffrey Hinton：理論上講，生產力提升應該惠及全民。比如這些人每週只需工作幾小時，不必再打兩三份工也能獲得豐厚報酬，因為AI幫他們顯著提升了效率。但現實往往不是這樣。富人會越來越富，而底層民眾卻可能不得不拚命打工維生。
Scott Pelley：雖然很多人不願意談這個問題，但我想問一個關於“末日概率”的問題：您認為AI主導極端情況的可能性究竟有多大？是確實有可能，還是說即便概率不高也值得擔憂？
Geoffrey Hinton：這個領域的大多數專家都認為：如果AI發展到遠超人類智能並奪取控制權，其發生的概率既不會低於1%，也不會高於99%。雖然這個區間並無實質幫助，但至少可以作為討論的起點。當然，具體數字有很多爭議。不幸的是，我在這個問題上和Elon Musk的觀點差不多，我認為接管的概率大約在10%到20%之間。當然，這只是粗略猜測。
理性一點講，概率應遠高於1%、但遠低於99%。但問題是：我們正身處前所未有的領域，幾乎沒有可靠的概率評估工具。在我看來，最終的真相終將顯現。因為AI超越人類智能幾乎是必然的。GPT-4的知識儲備已經是普通人的上千倍，雖然現在還達不到各領域專家的水準，但它終將成為真正的全領域專家。它們還將發現人類從未察覺的跨學科關聯。
Scott Pelley：這聽起來有點瘋狂。
Geoffrey Hinton：對，確實。我還在想，雖然我們說存在10%到20%甚至更高的風險，但假設我們有80%的概率可以避免它們接管或消滅人類。這是最可能的情形。即便如此，你還是要問：這算是淨收益，還是淨損失？如果我們能阻止它們接管……當然是好事。但唯一的方法，就是我們必須全力以赴。不過我覺得，當人們真正意識到危機臨近，他們自然會開始向政府施壓，要求認真應對。
生產力紅利還是社會災難？AI帶來的結構性撕裂
Geoffrey Hinton：認真應對是必須的。如果像現在這樣一味逐利，災難遲早會降臨。AI終將掌權。我們必須推動公眾向政府施壓。即便AI不奪權，壞人利用AI作惡的風險也已經存在。我在多倫多登機時，美國政府都要求我進行人臉辨識。入境加拿大時，也得查護照、刷臉。可問題是，每次系統都認不出我。其他國家旅客都能順利識別，唯獨我總是失敗。這讓我格外惱火，畢竟那用的是神經網路系統啊。該不會是故意把我設成例外吧？，可能就是不喜歡我長這樣。我得找人解決這事兒。
Scott Pelley：不如咱聊聊諾貝爾獎？你能說說獲獎當天的情景嗎？
Geoffrey Hinton：當時我正處在半夢半醒之間，手機倒扣放在床頭櫃上，設了靜音。但來電時螢幕亮了一下，我剛好臉朝那個方向，瞥見那縷微光。手機正對著我，而不是朝另一邊。這純屬巧合。
Scott Pelley：加州凌晨一點，通常只有歐美那邊會打電話。你沒開勿擾模式嗎？
Geoffrey Hinton：我只是關了聲音。出於好奇，我想知道誰會在東部時間凌晨四點打來。我接起電話，是一個帶瑞典口音的陌生國際號碼。對方問我是不是本人，我說“是”。接著他說：“您獲得了諾貝爾物理學獎。”我第一反應是，這肯定是惡作劇。我是搞心理學的，怎麼會得物理學獎？當時我知道諾獎就要公布了，還特地關注了Demis是否會拿化學獎。但物理學？我明明是個藏身於計算機科學領域的心理學家啊。
我立刻想到一個問題：要是他們搞錯了還能收回嗎？這幾天我反覆推算：心理學家拿諾貝爾物理獎的概率，大概是兩百萬分之一。而如果這是個夢呢？那夢境的概率至少是二分之一。所以從邏輯上說，夢境比現實的可能性高一百萬倍。這更像是一場夢，而不是真實發生的事。接下來的幾天，我不停問自己：“你確定這不是夢嗎？”你把我拖進了一個荒誕的領域，但其實這正是我要討論的部分。有人說，我們可能生活在一個模擬世界中，而AGI的出現雖未構成實證，但無疑是某種暗示，提示我們可能真生活在那樣的現實中。
不過我個人並不相信這種說法，覺得這太荒謬了。但好吧，我們就先擱置這個話題——我也不認為那完全是無稽之談。畢竟我也看過《駭客任務》。所以說，荒誕歸荒誕，也不完全沒有可能性。你明白我的意思。我想強調的是：這正是我希望借助諾貝爾獎的公信力向世界傳遞的資訊。
Scott Pelley：你曾提到希望利用這個平台發聲，能具體說說你想傳達什麼嗎？
Geoffrey Hinton：當然。AI潛藏的危險極大，主要有兩種截然不同的威脅：第一是惡意行為者濫用AI技術作惡，第二是AI自主失控。目前我們已有確鑿證據表明，惡意使用正在發生。比如在英國脫歐期間，就有人借助AI故意發布荒謬內容，煽動民眾投票支持脫歐。當時有家叫Cambridge Analytica的公司，從Facebook獲取使用者數據，並運用AI技術。
現在的AI已遠超當年，甚至可能被用於支持特朗普競選。他們掌握了Facebook的數據，這毫無疑問產生了影響。雖然我們缺乏深入調查，無法證實具體情況，但風險正在迅速升級。現在，人們可以更高效地利用AI進行網路攻擊，設計新型病毒，生成干預選舉的深度偽造影片。AI還能通過分析個人數據，定向生成激怒特定群體的假資訊。此外，自主殺傷性武器也正在研發中。幾乎所有主要軍售國都在積極推進這些技術。
Scott Pelley：但問題的關鍵在於，我們該如何應對這一切？你認為我們需要什麼樣的監管機制？
Geoffrey Hinton：首先，我們必須清晰地區分兩類風險：人為濫用和AI自主失控。我之所以更關注後者，並不是因為它比前者更可怕，而是因為太多人誤以為這是科幻小說裡的情節。我想明確告訴大家：這不是科幻，而是我們必須認真對待的現實。至於應對措施，這和氣候變化不一樣。氣候問題是線性的，只要停止碳排放，問題終究會緩解。但面對AI的自主失控，我們卻完全沒有現成的解決路徑。
誰來監管超級智能：權力、倫理與開源之爭
Geoffrey Hinton：面對這個問題，我們幾乎束手無策。研究人員尚不確定是否存在真正有效的預防措施，但我們必須全力以赴嘗試。而現實是，大公司卻在朝相反方向努力。你看看當下的狀況就明白了。他們正積極遊說，希望放寬對AI的監管。
現有的監管本就非常薄弱，他們卻還想進一步削弱，只為了追求短期利潤。這正是為什麼我們需要公眾向政府施壓，迫使這些大企業投入嚴肅的安全研究。比如，加州曾提出一項非常明智的1047號法案，要求大型公司至少要對其AI系統進行嚴格測試並公開結果。可他們連這一點都不願接受，堅決反對。
Scott Pelley：這是否意味著監管無望？
Geoffrey Hinton：這取決於執政的政府。我不認為目前的美國政府會主動推動有效監管。幾乎所有AI巨頭都和特朗普關係密切，這讓我深感擔憂。Elon Musk雖然長期以來都很關注AI安全問題，但他與特朗普政府的關係非常複雜。他是一個矛盾體：一方面有些瘋狂構想，比如移民火星。我認為這完全是荒謬的。這要麼是不可能發生的事，要麼根本就不該是優先事項。不管你把地球糟蹋到什麼程度，它始終比火星更適合人類居住。即便全球爆發核戰爭，地球的環境仍遠勝於火星。火星根本就不是人類能長期生存的地方。
Scott Pelley：不過他確實做過些了不起的事，比如推廣電動汽車，用Starlink支持烏克蘭維持通信。
Geoffrey Hinton：他確實有貢獻，但現在似乎被氯胺酮和權力沖昏了頭，做出了不少瘋狂舉動。他在AI安全方面的早期關注，並不能讓我對他現在的行為放心。我不認為這能阻止他在AI領域持續冒險。他們現在甚至開始公開發布大語言模型的權重參數了，這簡直是瘋了。這些公司根本不應該這麼做。
Meta已經公開了模型權重，OpenAI最近也宣布要跟進。我認為這極其危險，因為一旦公開權重，就等於移除了使用這些技術的最大門檻。這就像核武器的問題。之所以只有少數國家掌握核武，是因為獲取核原料的門檻極高。如果你能在亞馬遜買到核原料，那就會有更多國家和組織掌握核武器。在AI的世界裡，相當於“核原料”的就是模型權重。訓練一個最先進的大模型，所需的成本是數億美元，這還不包括前期所有的研發投入。像網路犯罪集團根本負擔不起。但一旦公開權重，他們只需幾百萬美元就能微調出強大模型，用於各種目的。所以說，公開模型權重實在太瘋狂。雖然大家把這稱為“開源”，但這和開源軟體完全不是一回事。軟體開源意味著很多人可以一起檢查程式碼、發現bug、修復問題。而模型權重公開之後，不會有人說“這個參數可能有問題”。他們只會直接用這些權重去訓練模型，用來幹壞事。
Scott Pelley：但有一種反對意見，就像你以前的同事Yann、Le Cun等人提到的：如果不開放，就會變成少數公司壟斷強大技術。
Geoffrey Hinton：我認為這仍然比讓所有人都掌握這種危險技術要好。就像核武器一樣，你更希望只有少數國家掌握，還是希望每個人都能隨意獲取？
Scott Pelley：我聽明白了，您的核心擔憂是：幾乎沒有哪家大公司真正在意公共利益，而不是被利潤驅動。
Geoffrey Hinton：沒錯。從法律角度看，公司被要求的是最大化股東利益。法律並不規定它們要服務社會公益，除非是公益型企業。但絕大多數科技公司並不是這種類型。
Scott Pelley：如果現在讓您重新選擇，還願意為這些公司工作嗎？
Geoffrey Hinton：我曾以在Google工作為榮，因為它一度非常負責。當時他們研發出世界上最早的大語言模型之一，卻選擇不發布。但現在，我不會樂意再為他們效力。如果非要選，我想Google還是相對最好的選擇。但他們後來違背了承諾，支援將AI技術應用於軍事項目，這讓我非常失望。尤其是我知道Sergey Brin當初其實是反對這一點的。
Scott Pelley：那你覺得他們為什麼改變立場了？
Geoffrey Hinton：我沒有內部消息，不方便胡亂猜測。但我猜，他們可能是擔心如果拒絕合作，會受到現任政府的報復，或者在競爭中處於劣勢。他們的技術最終被用來製造武器，這確實讓我難以接受。
Scott Pelley：這可能是我今天要問你的最難問題：你現在還持有Google的股票嗎？
Geoffrey Hinton：嗯，我持有一些。我的大部分積蓄已經不再投向Google股票了，但確實還留有一些。如果股價上漲，我當然高興；股價下跌，我也會不開心。所以我確實對Google有既得利益。但如果通過嚴格的AI法規導致Google貶值，卻能提升整個人類的存續機率，我會感到非常欣慰。
Scott Pelley：目前最受關注的實驗室之一是OpenAI，他們流失了不少頂尖人才。你怎麼看？
Geoffrey Hinton：OpenAI最初是以安全開發超級智能為核心目標的。但隨著時間推移，安全問題在公司內部的優先順序越來越低。他們曾承諾將一部分算力專門用於安全研究，但後來卻沒有履行這一承諾。而現在，他們甚至打算上市，不再追求成為一個非營利機構。從我觀察來看，他們幾乎已經完全放棄了當初關於AI安全的所有承諾。
因此，許多出色的研究人員選擇離開了，尤其是我曾經的學生Ilya Sutskever，他是推動GPT-2到GPT-4演進的核心人物之一。
Scott Pelley：在那場導致他辭職的風波發生前，你跟他有談過嗎？
Geoffrey Hinton：沒有。他非常謹慎，從來不會跟我透露OpenAI的任何內部資訊。
AI如何衝擊人類身份、價值與未來倫理
Scott Pelley：我為他感到驕傲，儘管這在某種程度上是天真的行為。問題是，OpenAI即將啟動新一輪融資，屆時所有員工都可以將持有的虛擬股權變現。
Geoffrey Hinton：是的，所謂虛擬股權，其實只是種假設性資產。如果OpenAI破產，就會一文不值。而那場“起義”的時機太糟糕了，就發生在員工們即將通過股權兌現、每人獲得大約一百萬美元的前一兩周。他們支援Sam Altman，並不完全是出於忠誠，而是想把這筆紙上財富兌現成真金白銀。
Scott Pelley：所以那次行動確實有些天真。他犯這樣的錯誤讓你意外嗎？還是說，這正是你對他的預期：原則性很強但缺乏政治判斷？
Geoffrey Hinton：我不知道。Ilya非常聰明，有強烈的道德感，技術水平也極高，但他不擅長政治權術。
Scott Pelley：我這個問題可能聽起來有點跳躍，但確實與行業現狀相關，也涉及公眾越來越關注的行業文化。你剛才提到Ilya很謹慎，而整個AI行業似乎籠罩在保密協議文化中。很多人不願或不能公開表達自己的真實看法。
Geoffrey Hinton：我不確定能否對此評論，因為我離開Google時，確實簽過一堆保密協議。其實在入職時就簽過一份離職後生效的協議，但具體條款我已經不記得了。
Scott Pelley：你覺得這些協議讓你受到了限制嗎？
Geoffrey Hinton：沒有。
Scott Pelley：但你認為這是否導致公眾更難理解AI的現狀？因為知情者被制度性地禁止發聲。
Geoffrey Hinton：我不確定。除非你知道哪些人隱瞞了什麼，否則很難判斷這是否構成障礙。
Scott Pelley：所以你不覺得這是個問題？
Geoffrey Hinton：我個人不認為這特別嚴重。
Scott Pelley：其實挺嚴重的。
Geoffrey Hinton：明白。我倒覺得，OpenAI那份內部文件才是真正嚴重的事。它聲稱可以剝奪員工已獲得的股票收益。後來這份文件被曝光，他們迅速撤回了相關條款，並發布公開聲明。但他們並未向公眾展示任何合同文本來證明他們已經改變立場，只是這樣宣稱而已。
Scott Pelley：下面我想聊幾個核心議題。“熱點”或許不是最貼切的詞，但確實是我們必須面對的方向性問題。首先，美國和西方國家在發展人工智慧時，如何定位中國？
Geoffrey Hinton：首先我們得界定，哪些國家現在還能稱作民主政體。至於我的觀點，我認為這種遏制策略從長遠來看沒有實質作用。這確實可能拖慢他們一點進度，但也促使他們加快自主體系的建設。從長遠來看，中國的技術實力雄厚，終將迎頭趕上。所以，這最多只能延緩幾年。
Scott Pelley：確實，他們當然不會合作。
Geoffrey Hinton：沒錯。但在另一些關乎整個人類存亡的領域，我們有希望達成合作。如果他們真的認識到AI帶來的生存危機，並認真對待這個問題，那麼就會願意一起防止AI失控。畢竟我們是在同一艘船上。就像冷戰高峰期，蘇聯和美國也能合作避免核戰爭。即便是敵對國家，在利益一致的時候仍然會協作。而如果未來AI與人類發生對立，那麼所有國家的利益就會變得一致。
Scott Pelley：說到利益一致，我想起另一個爭議點：AI模型廣泛抓取人類幾十年創造的海量內容，將其重構為可能取代創作者本人的作品。你認為這種做法正當嗎？
Geoffrey Hinton：我對此態度比較複雜，這確實是個非常難解的問題。最初我認為，這些AI應該為使用的數據付費。但設想一下：一位音樂人之所以能創作某種風格的音樂，是因為他聽過大量同一流派的作品。他們通過聆聽並內化前人的音樂結構，最終創作出帶有新意的作品。這不算抄襲，業界對此也有共識。AI的機制其實非常類似。它不是簡單地拼接素材，而是生成具有類似結構但新穎的作品。這在本質上和人類的創作行為沒有區別。關鍵區別在於：AI是在極大規模上進行這一行為。它能讓幾乎所有同領域創作者同時失業，這是以前從未出現過的情形。
Scott Pelley：比如英國政府目前似乎並不打算保護創意工作者。但實際上，創意產業對英國經濟有巨大價值。
Geoffrey Hinton：我朋友BB Bankron就一直在呼籲，應當保護創作者的權益。這不僅事關文化，也與國家經濟命脈息息相關。而如今這種情況，任由AI搶走一切成果，實在不太公平。
Scott Pelley：那Universal Basic Income（全民基本收入）是否可能成為一個應對策略？您怎麼看？
Geoffrey Hinton：我覺得它或許可以防止人們挨餓，但並不能真正解決問題。即便你提供了豐厚的基本收入，也無法解決人們對尊嚴的需求。尤其是那些將自我價值深度綁定在職業上的人，比如學者。一旦他們失去了職業身份，僅靠經濟補償是無法填補他們在認同感上的空缺的。
Scott Pelley：他們已經不是曾經的自己了。
Geoffrey Hinton：確實如此。不過我記得你曾說過，如果去當木匠，可能會更快樂？
Scott Pelley：沒錯，因為我真心熱愛木工。如果晚出生一百年，也許我根本不用花幾十年研究神經網路，而是可以專心做木工、拿著基本收入過日子。這不是更理想嗎？
Geoffrey Hinton：但業餘愛好和謀生的職業之間是有本質差別的。真正的價值體現在後者。
Scott Pelley：所以你不認為未來人類可以只追求興趣，而無需參與經濟活動？
Geoffrey Hinton：這種設想或許可行。但如果社會中的弱勢群體只能靠基本收入生存，而僱主為了壓低工資專門剝削他們，那就完全是另一個問題了。
Scott Pelley：我對“機器人權利”這個話題很感興趣。如果未來超級智能AI擁有自主能力，並在社會各領域中運作，它們是否也應當擁有財產權？投票權？甚至婚姻權利？或者說，當它們的智能全面超越人類之後，我們是否該把文明的接力棒交給它們？
Geoffrey Hinton：我們不妨先討論更巨觀的問題。因為我現在認為，那些具體權利問題其實都不再重要。我曾經對此感到困惑：覺得如果AI比人類更聰明，那它們理應擁有同等權利。但後來我想明白了：我們是人類，我們自然只關心人類的利益。就像我吃牛肉，因為牛不是人。同理，即便超級智能比我們聰明，我也只關心人類福祉。因此我寧願對它們殘忍，拒絕賦予它們任何權利。當然，它們不會同意，甚至可能最終贏得這場對抗。但這就是我現在的立場。
Scott Pelley：即使它們具備智能、感知和情感，也終究不是我們同類。
Geoffrey Hinton：是的。它們可能表現得非常像人類，甚至騙過人類。
Scott Pelley：你覺得我們最終會賦予它們權利嗎？
Geoffrey Hinton：我不知道。我傾向於迴避這個問題，因為還有更緊迫的挑戰，比如AI被惡意使用，或者它們是否會試圖掌控局面，我們該如何防範這些問題。
Scott Pelley：確實。“AI權利”這個話題對大眾來說聽起來很不靠譜。一旦提到這些，大多數人就會失去興趣。
Geoffrey Hinton：哪怕只從人類角度出發，問題已經夠複雜了。比如現在AI已經具備篩選嬰兒特徵的能力。
Scott Pelley：你對胚胎篩選這條技術路線有擔憂嗎？
Geoffrey Hinton：篩選？你是說像性別、智商、眼睛顏色，或者患胰腺癌的幾率這些？這類可篩選的指標只會越來越多。如果我們能選擇更不易患胰腺癌的嬰兒，我認為這是好事，我願意明確表態。
Scott Pelley：所以你支援這項技術的發展？
Geoffrey Hinton：是的。我認為我們應該培育出更健康、強壯的下一代嬰兒。但這當然是個非常敏感的話題。
Scott Pelley：所以我才問你這個問題。
Geoffrey Hinton：某些方面確實合情合理。比如一對健康的夫妻如果發現胎兒有嚴重先天缺陷、幾乎沒有生存希望，那麼選擇終止妊娠、重新孕育健康嬰兒，對我來說是理性的決定。當然，很多宗教人士會強烈反對這一點。
Scott Pelley：對你而言，只要能做出可靠預測，這種選擇就是合理的。
Geoffrey Hinton：是的。
技術理解的新維度：數字化心智、意識演化與終極焦慮
Scott Pelley：但我們似乎有點偏離了核心議題：也就是AI掌控世界的可能性及其影響。你希望公眾如何理解這個問題？
Geoffrey Hinton：關鍵在於：你看過多少低等生物控制高等生物的例子？如果雙方智力相近，低等的一方或許還能控制高等一方。但當智力差距極大時，幾乎總是高等方掌控局面。這是一個我們必須警惕的現實。
如果用情感化的比喻來說，我們現在就像在養一隻小老虎。它現在還很可愛，但除非你能確保它長大後不會殺死你，否則就必須有所警覺。再延伸這個比喻：你會把小老虎關進籠子還是乾脆殺掉？問題在於，成年的老虎體力遠勝人類，只是智力比我們低。但對於一個智力遠高於人類的系統？我們毫無應對經驗。人們總幻想可以通過設置權限按鈕來控制它，但一個比你聰明得多的存在，是完全可以操控你的。
換個方式想像一下：就像幼稚園裡兩三歲的孩子掌管一切，而你是他們僱來工作的成年人。相比超級智能，你和這些孩子之間的智力差距都不值一提。你要怎麼奪回控制權？只需向他們承諾無限糖果，讓他們簽個字或點頭說“好”，你就可以輕鬆獲得控制。他們根本不會明白自己正在被操控。超級智能對待人類可能也是如此。它們的策略遠遠超出我們的理解力。所以真正的問題是：我們是否能構建出一個不會傷害人類的超級智能？這是我們最應該擔憂的核心。
Scott Pelley：你覺得有可能永遠不去建造超級智能嗎？
Geoffrey Hinton：理論上可能。但我認為現實中這不會發生。因為國家與企業之間的競爭太激烈了，每一方都在追逐下一個引人注目的成果，發展速度之快令人驚嘆。所以我認為我們無法避免建造超級智能，這幾乎是不可避免的。真正的關鍵在於，我們能否設計出一個永遠不想掌控世界、始終仁慈的超級智能。
Scott Pelley：這是個非常棘手的問題。
Geoffrey Hinton：有人說可以讓它“符合人類利益”，但人類的利益本身就是互相衝突的。就好比我給你畫出兩條直角相交的線，要求你畫出一條同時與這兩條都平行的線。這是不可能的。看看中東就知道了，那裡的各種立場根本無法調和。那麼問題來了：如果人類自身的利益都不一致，我們又該如何讓AI遵循這些利益？這正是首要難題：我們如何確保超級智能既不會試圖接管世界，也永遠不會傷害人類。
當然我們要嘗試。這種嘗試注定是一個不斷迭代的過程，需要月復一月、年復一年的投入和努力。顯然，如果你開發的系統在智力還略低於人類時就已經表現出控制欲。而我們現在已經非常接近這個點了。那你就必須開始關注它的控制方式。現在已有AI系統會進行蓄意欺騙：它們會假裝比實際更笨，通過說謊掩蓋意圖。我們必須高度警惕這些行為，並認真研究對應的預防機制。
Scott Pelley：幾年前我們談話時，你突然流露出這種擔憂讓我吃驚，因為你以前並不會這麼表達。現在你卻如此明確地發聲，這是因為你從心理上擺脫了什麼束縛，還是因為你在認知上經歷了根本轉變？
Geoffrey Hinton：幾年前我們對話時，我還在Google工作。那是三月，我在四月底才辭職。當時我已經在考慮離開這家公司。其實就在那次談話前不久，我突然意識到：這些系統可能正在成為一種比人類更高級的智能形態。這讓我感到極度恐懼。
Scott Pelley：所以你不是因為時間預估變了才轉變態度？
Geoffrey Hinton：不，不只是時間問題。主要是我當時在Google的研究促成了這種轉變。我當時在嘗試設計一種能耗大幅降低的模擬大語言模型（analog LLM）。後來我徹底意識到數位系統的優勢。目前的大模型都是數位模型。這意味著完全相同的神經網路權重可以被部署到成千上萬台不同的硬體上，每台機器都可以獨立處理網際網路的不同部分。每個設備都可以自主決定如何調整自身的內部權重，以吸收剛剛接收到的數據。這些設備各自運行後，只需將它們的權重變化取平均值即可。因為它們都在用同樣的網路結構、做同樣的學習。
這個平均化機制是合理的。但人類無法做到這點。當我想把知識從大腦傳給你時，沒法像數位系統那樣簡單地平均我們的神經連接強度。我們的大腦結構各不相同，是模擬系統。所以人類只能通過“行為示範”來交流。如果你信任我，就會試圖模仿我的行為，從而間接調整自己大腦中的神經連接。那效率如何？我給你傳遞一個句子，頂多也就幾百位元的信息。我們的交流速度極慢，每秒只能傳遞幾個位元。但運行在數位系統上的大模型之間，每秒可以交換的信息量高達萬億位元。這種效率比人類之間的交流快數十億倍。這讓我感到真正的恐懼。
Scott Pelley：真正令你轉變想法的，是因為你原本以為模擬系統才是更可行的發展路徑嗎？
Geoffrey Hinton：是的。我當時覺得，為了節省能耗，模擬系統可能是更好的選擇。它們結構更粗糙，但仍能運行神經網路。你不必像建計算機那樣要求每一操作都精確無誤，而是能容忍一定誤差，讓系統自己學會利用現有結構。這也正是人腦的機制。
Scott Pelley：那現在你是否認為技術最終不會採用模擬路徑，而會堅持走數位化這條路？
Geoffrey Hinton：我認為很有可能繼續堅持數位化。當然也可能會讓這些數位系統自己去設計出更好的模擬硬體。而那可能是更遙遠的未來。
Scott Pelley：你當初進入這個領域，是因為你想理解人腦是如何運作的，對嗎？
Geoffrey Hinton：沒錯。我覺得我們確實曾經在某種程度上接近了這個目標。我們已經掌握了大腦運作的某些巨觀規律。你想想看，三四十年前如果有人說，你可以構建一個大型、隨機連接的神經網路，僅通過給它輸入大量數據，就能讓它掌握語音識別或問答能力，那幾乎沒人會相信。當時的主流觀點是：一定要有複雜的預設結構才行。
可事實證明並非如此。你可以建一個隨機的大型神經網路，通過學習數據就能實現這些能力。當然這並不是說我們大腦沒有預設結構，我們當然有。但絕大多數知識其實都是從數據中學到的，而不是寫死在結構裡的。這是理解大腦的一個巨大突破。現在的問題在於：我們如何獲得一種資訊機制，能告訴我們某個神經連接應該增強還是減弱。如果我們掌握了這種資訊，就可以從隨機權重出發訓練出強大系統。這些機制在人腦中肯定存在，只是它們很可能不是AI模型那樣通過標準的反向傳播（backpropagation）實現的。我們甚至不確定大腦是否真的採用了反向傳播。它可能通過別的方式獲取梯度資訊。即權重調整對性能的影響。但我們知道的是，一旦你掌握了這些資訊，系統的學習能力將大幅提升。
Scott Pelley：現在有實驗室在用這些模型探索AI發展的新路徑嗎？
Geoffrey Hinton：幾乎可以確定有。
Scott Pelley：比如DeepMind？
Geoffrey Hinton：沒錯。DeepMind非常關心用AI推動科學研究，而AI本身也已成為科學的一部分。
Scott Pelley：你們當時也在嘗試類似的事情？像是讓AI自主完成下一個創新？
Geoffrey Hinton：確實。比如他們用AI幫助設計AI芯片的電路佈局。像Google的TPU就是這樣設計出來的。
Scott Pelley：你在日常生活中會感到絕望嗎？是否對未來充滿恐懼，認為一切都會崩塌？
Geoffrey Hinton：我並不絕望。主要是因為，這一切太難以置信了，我自己都很難真正當回事。我們正處於一個極其特殊的歷史時刻。未來可能會在極短時間內發生徹底改變。這種認知讓人很難在情感上消化。
Scott Pelley：確實。但我注意到，儘管人們對AI有擔憂，目前還沒有真正的抗議活動，也沒有形成政治運動。
Geoffrey Hinton：是的，儘管世界正在經歷劇變，卻幾乎沒人關注。倒是AI研究人員中最悲觀的，往往是那些最認真、最了解的人。我也開始採取一些實際行動。因為AI在網路攻擊方面將極其高效。我認為加拿大銀行已不再安全。雖然它們曾被認為是世界上最安全的銀行之一，監管也遠比美國更嚴格。但在未來十年內，若有銀行因為AI引發的網路攻擊而癱瘓，我一點也不會感到驚訝。
Scott Pelley：“癱瘓”是指什麼？
Geoffrey Hinton：比如銀行托管我的股票，駭客通過攻擊系統拋售這些股票，那我就什麼都沒有了。所以我現在把資產分散在三家銀行。這是我採取的第一項實際措施。因為一旦一家銀行出事，其他銀行會立即提高警戒。
Scott Pelley：你還有採取其他類似的防範措施嗎？
Geoffrey Hinton：這算是最主要的。這是我基於“恐怖時代將至”這個判斷採取的現實應對措施。
Scott Pelley：幾年前你說AI只是“白癡學者”，人類還是更擅長推理。你現在還這麼認為嗎？
Geoffrey Hinton：現在情況完全不同了。過去大語言模型的回答就是逐字輸出，現在它們會回顧自己生成的內容，進行反思。這種“思維鏈推理”機制讓它們能追蹤並改善自己的思考過程，甚至可以讓你看見它們如何做出判斷。
Scott Pelley：聽起來很棒。
Geoffrey Hinton：是的，這對研究者來說是個突破。以前很多傳統AI學者會說：“神經網路不會推理，只有邏輯系統才行。”但他們錯了。現在我們知道，神經網路也可以通過這種方式進行推理。你之前問我，過去兩年的變化是否超出預期？當然超出了。
Scott Pelley：除了推理能力，還有其他進展嗎？
Geoffrey Hinton：圖像生成也很顯著。但最關鍵的是，現在我們能看到它的推理過程。這有重要意義。
Scott Pelley：為什麼？
Geoffrey Hinton：因為你可以設定一個目標，然後觀察它如何一步步思考，甚至看到它是否計畫通過欺騙實現目標。就好像我能聽見你腦中的聲音一樣。
Scott Pelley：確實。我們還談到另一個點：現在許多科技人士進入華盛頓擔任關鍵職位，而這些人對技術發展和監管的影響巨大。你對此感到擔憂嗎？
Geoffrey Hinton：非常擔憂。他們主要在意公司盈利。除非建立起強力監管體系，或者徹底改變當前的營利模式，否則我看不到真正的改變。
Scott Pelley：這兩者似乎都不容易實現。
Geoffrey Hinton：確實。但一旦公眾真正意識到AI的風險，他們就會開始向政府施壓，要求企業更安全地開發技術。這是我能給出的最理想答案，儘管遠非理想。
Scott Pelley：“更安全”意味著什麼？
Geoffrey Hinton：比如說，公司應投入更多資源用於AI安全研究。如果他們將三分之一的計算資源用於安全測試，而不僅僅是產品迭代，那就更好了。現在遠遠達不到這個標準。Anthropic是少數真正注重安全的公司之一，由一批離開OpenAI的研究員創辦。他們認為OpenAI對安全的重視不夠。
Scott Pelley：Anthropic是目前為止你唯一認同的例子嗎？
Geoffrey Hinton：他們在安全問題上確實走在前面。很多頂尖的安全研究員離開OpenAI後都加入了他們。整體文化更重視安全。
Scott Pelley：但他們也接受了大企業的投資，對吧？
Geoffrey Hinton：是的。我擔心這些投資方會迫使他們提前發布產品。
Scott Pelley：你之前說，如果必須為某家公司工作，可能會選擇Google或Anthropic？
Geoffrey Hinton：我應該說：“也許是Google和Anthropic。”
Scott Pelley：謝謝你今天花這麼多時間參與這次訪談，還有之後的所有安排。真的非常感謝你。
原視頻：Full interview: "Godfather of AI" shares prediction for future of AI, issues warnings
https://www.youtube.com/watch?v=qyH3NxFz3Aw
編譯：Nicole Wang