上部の「チューリングAI」をクリックし、「星を付ける」公式アカウントを選択してください
あなたが知りたいAIの厳選情報が、最速でお届けされます
著作権表示
集智クラブからの転載です。著作権は原作者に属し、学術共有のために使用されています。侵害がある場合はメッセージを残して削除してください。
人工知能はかつてない速度で世界を変えていますが、その背後にある核となるメカニズムは、複雑なアルゴリズムや計算能力の積み重ねだけではありません。この記事は、神経科学の先駆者ジョン・ホップフィールドの研究を出発点として、ディープラーニングの発展の経緯をたどり、驚くべき事実を明らかにします。それは、多くの現代AIモデルの理論的基盤が、前世紀の物理学者が磁性材料を研究する際に提唱した「スピングラス」モデルに由来しているというものです。統計物理学に根ざすこれらの概念は、ニューラルネットワークがどのように「記憶」するかを説明するだけでなく、膨大なデータに直面した際にどのように「創造」するかをも予見しています。AIが設計以上の振る舞いを示すとき、私たちは「創発」現象の発生を目の当たりにしているのかもしれません。これらすべてを理解することが、説明可能なAIへの重要な一歩となるでしょう。
キーワード：ホップフィールドネットワーク、拡散モデル、スピングラス、エネルギーランドスケープ、創発、統計物理学、ディープラーニング、AI
趙思怡 | 訳者
周莉 | 校正
記事タイトル：The Strange Physics That Gave Birth to AI
記事アドレス：https://www.quantamagazine.org/the-strange-physics-that-gave-birth-to-ai-20250430/
出典：Quantamagazine
スピングラスは、おそらく史上最も有用な「無用なもの」でしょう。この材料は「ガラス」と呼ばれていますが、実際には金属製が多いです。20世紀半ば、その不可解な振る舞いは少数の物理学者の注目を集めました。材料としてのスピングラス自体には何の実際の応用もありませんでした。しかし、その奇妙さを説明するために発展した理論が、最終的に今日の人工知能革命を引き起こしたのです。
1982年、凝縮系物理学者のジョン・ホップフィールドは、スピングラスの物理原理を応用し、学習と記憶が可能な単純なネットワークを構築しました。この研究は、当時ほとんどの人工知能研究者に見捨てられていたニューラルネットワーク（これらの網状の「人工ニューロン」）への研究関心を再燃させ、物理学を新しい分野、すなわち生物学的または機械的両方の心の研究へと導きました。
ホップフィールドは「記憶」を統計力学における古典的な集団物理学の問題と見なしました。複数の部分からなるシステムはどのように進化するのか？スピングラスを含むあらゆる単純な物理システムにおいて、熱力学は「より低いエネルギー状態に向かう」と答えます。ホップフィールドはこの集団現象の単純な特性を利用して、「人工ニューロン」ネットワークを使ってデータを保存・記憶する方法を見つけました。簡単に言えば、彼は記憶を「エネルギーの谷底」に配置する方法を見つけたのです。そのため、ホップフィールドネットワークは情報を検索する必要がなく、「坂を下る」だけで記憶を完了できます。
「ホップフィールドネットワークは『概念的な突破』でした」と、イタリアのミラノにあるボッコーニ大学の理論物理学者マルク・メザールは言います。スピングラスの物理学のおかげで、後に人工知能に取り組む研究者たちは「これらの古い物理システムのために開発されたツール一式を使用できる」ようになったのです。
2024年、ホップフィールドとAIの先駆者ジェフリー・ヒントンは、ニューラルネットワークの統計物理学における業績によりノーベル物理学賞を受賞しました。この受賞は多くの人々を驚かせ、一部からは物理学の栄誉というよりも人工知能研究の勝利に近いという不満の声も上がりました。しかし、スピングラスの物理学が記憶のモデリングや思考する機械の構築に応用されたからといって、その物理学的本質が失われたわけではありません。今日、一部の研究者は、ホップフィールドが当初機械に「記憶」させるために用いたのと同じ物理原理が、機械に「想像」させ、我々が真に理解できるニューラルネットワークを設計するためにも役立つと信じています。
創発的記憶
ホップフィールドは1960年代に半導体物理学の研究でキャリアをスタートさせました。しかし60年代後半になると、彼はこう書きました。
「凝縮系物理学には、自分の得意分野に合う問題がもう見つからなかった」（2018年のエッセイ[1]より引用）
そこで彼は新しい方向を探し始めました。生物化学に一時的に足を踏み入れたことで、生物がどのように生化学反応を「校正」するかについての理論[2]を提唱し、その後神経科学へと目を向けました。
「私はproblem（大きな問題）、つまり普通の『問題』ではないものを探していました」と彼はエッセイで回想し、真に重要な課題を見つける必要性を特に強調しました。「私にとって、『心がいかにして脳から創発するか』は人類が提起した最も深遠な問題です。これは間違いなくproblemです。」
ホップフィールドは、連想記憶がこの大きな問題の一部であること、そして凝縮系物理学で培ったツールがそれを解決するのに役立つことに気づきました。
通常のコンピュータでは、データは静的に保存され、アドレスを通じてアクセスされます。このアドレスは保存されている情報自体とは無関係で、単なるアクセスコードに過ぎません。そのため、アドレスが少しでも間違っていれば、誤ったデータを読み取ってしまいます。しかし、人間の記憶はそうではないようです。私たちはしばしば連想を通じて物事を記憶します。一つの手がかりや曖昧な記憶が、全体の記憶を呼び起こすことがあります。例えば、ライラックの香りを嗅いで、祖父の庭での幼少期の情景を突然思い出す、あるいは歌の最初の数小節を聞いて、すでに忘れたと思っていた曲全体を歌えることに気づく、といった具合です。ホップフィールドは連想記憶の研究に数年を費やし、それをニューラルネットワークモデルに変換しました。彼は様々なランダムに接続されたニューラルネットワークや、他の可能な記憶モデルを試しました。最初はうまくいきませんでしたが、最終的に、このproblemを解決する予想外の鍵を発見しました。
スピングラス
20世紀50年代、科学者たちは特定の希薄合金（例えば金中の鉄）を研究している際に、これらの材料が奇妙な現象を示すことを発見しました。ある温度以上では、これらの合金（例えばアルミニウム）は通常の材料と同様に振る舞います。それ自体は磁性を持っていませんが、外部磁場に対してわずかに応答します。例えば、非常に強い磁石を使えばアルミ缶を動かせますが、アルミニウム自体は磁石として使用できません。通常、アルミニウムのような材料は外部磁場がなくなるとすぐに磁性を失います。しかし、温度が特定の臨界値を下回ると、スピングラスの挙動は異なります。その瞬間的な磁化状態は、ある程度保持されるのです（値は低いですが）。これはスピングラスの奇妙な挙動の一つに過ぎず、その熱的特性も同様に不可解でした。
1970年頃から、凝縮系物理学者たちは、物理学において集団的な磁気挙動を研究する古典的なモデルであるイジングモデルを調整することで、これらの材料の理論的理解を構築し始めました。イジングモデルは、上向きか下向きかを指す矢印の単純な格子のように見えます。各矢印は原子の内部磁気モーメント、または「スピン」を表します。これは実際の原子系の単純化された記述ですが、隣接するスピン間の相互作用の規則を調整することで、このモデルは驚くほど複雑な挙動を生み出すことができます。
一般的に、隣接する矢印が同じ方向を向いている場合、エネルギーは低くなり、反対方向を向いている場合は高くなります。スピンが反転できる場合、イジングモデルにおけるシステムの状態は、低いエネルギーの整列状態へと進化します。まるで小さな球が坂を転がり落ちるように。鉄のような磁性材料は、最終的にすべてのスピンが上向きか下向きのいずれかの単純な状態に固定されます。これは強磁性体システム（鉄など）とは大きく異なります。強磁性体は最終的に二つの秩序だった状態（すべて上向きか、すべて下向きか）に固定されますが、非強磁性体システムのスピンは常にランダムに変動し、安定しません。スピングラスでは、ランダム性が固定されています。
イジングモデルは本質的に「おもちゃのモデル」であり、それを使って実際の材料の挙動を予測するのは、まるで棒人間で手術計画を立てるようなものです。しかし驚くべきことに、それはしばしば実際に機能します。今日、イジングモデルは統計力学の主力ツールとなっています。その様々な変種は、ホップフィールドの研究によって拡張された記憶研究を含む、複雑な集団現象研究のあらゆる分野に登場しています。
スピン記憶
単純な視点から見ると、ニューロン間の相互作用とイジングモデルにおける磁気スピン間の挙動には多くの類似点があります。まず、ニューロンはしばしば二値のオンオフスイッチとしてモデル化されます。つまり、信号を発するか、発しないかです。スピンもまた、上向きか下向きかの二つの状態を持ちます。さらに、あるニューロンの発火は、隣接するニューロンの発火を促進したり抑制したりすることができます。ニューロン間のこれらの可変的な相互作用は、スピングラスにおける可変的なスピン間の相互作用に似ています。スイスのローザンヌ連邦工科大学の物理学者兼計算機科学者レンカ・ズデボロバは次のように述べています。
「数学的には、元々スピンや原子を表していたものを置き換えることができ、他のシステムもこのツールボックスを使って記述することができます。」
ネットワークを構築するために、ホップフィールドは人工ニューロンで構成されるネットワークから始めました。これらのニューロンは「オン」（発火）または「オフ」（静止）の状態をとることができます。各ニューロンは他のすべてのニューロンの状態に影響を与え、この影響は調整可能です。ある瞬間のネットワークの状態は、どのニューロンが発火状態にあり、どのニューロンが静止状態にあるかによって定義されます。この状態はバイナリでエンコードできます。発火しているニューロンを1、静止しているニューロンを0とします。ネットワーク全体の現在の状態を書き出すと、それはビット列になります。このネットワークは情報を「保存」しているわけではなく、情報そのものです。
ネットワークに特定のパターンを「教える」ために、ホップフィールドはニューロン間の相互作用の強度を調整してそのエネルギーランドスケープを「彫刻」し、それによって目標パターンが低エネルギーの安定状態になるようにしました。この安定状態では、ネットワークは進化を停止し、安定して一つのパターンとして振る舞います。彼は神経科学の古典的な法則「同期して発火するニューロンは接続を形成しやすい」に触発された規則を見つけました。つまり、目標パターンにおいて二つのニューロンがともに発火状態（またはともに静止状態）である場合、それらの接続を強化し、状態が一致しない場合は接続を弱める、というものです。このような訓練の後、ネットワークはそのエネルギーランドスケープでエネルギーの谷底へ「坂を下る」だけで、再びこのパターンを「思い出す」ことができます。それは、このパターンに対応する平衡状態へと自然に進化するでしょう。
理論物理学者メザールが言うように：
「ホップフィールドはこのつながりを確立しました。彼はこう言いました。『見てください、もし私たちがスピングラスを調整するようにこれらのニューロン間の接続強度を調整できるなら、たぶん平衡点を記憶に変えることができるでしょう。』」
ホップフィールドネットワークは複数のパターンを記憶でき、それぞれのパターンは一つのエネルギーの谷に対応します。ネットワークがどの谷に落ちるかは、それがどこから進化を開始するかによって決まります。例えば、「猫」と「宇宙船」の画像を同時に記憶しているネットワークにおいて、初期状態がおおよそ猫に似ていれば、「猫の谷」に滑り込む可能性が高くなります。逆に、初期状態が宇宙船の幾何学的特徴を含んでいれば、ネットワークは「宇宙船の谷」へと向かう傾向があります。これにより、ホップフィールドネットワークは連想記憶の一種モデルとなります。不完全または干渉された記憶を与えられた場合でも、それは動的に完全なパターンを回復します。
おすすめ記事：
著名な科学雑誌『Physics Today』は、ノーベル賞受賞者ジョン・ホップフィールドとジェフリー・ヒントンの主要な貢献をまとめた記事を掲載し、ニューラルネットワークの根底にある原理から大規模モデルの創発能力に至るまで、物理学が人工知能の根底にあるメカニズムを理解する上で非常に重要であり、物理学的思考を現実世界のシステムに応用することで、人工知能のブレイクスルーへの洞察が期待されると論じています。
ニューラルネットワークの物理的根源：スピングラスからエネルギーランドスケープへ｜2024年ノーベル賞
旧モデル、新発想
1983年から1985年にかけて、ジェフリー・ヒントンと彼の同僚は、ホップフィールドネットワークをさらに拡張しました。彼らはランダム性を導入し、新しいタイプのニューラルネットワークであるボルツマンマシンを構築しました。このネットワークは、特定のパターンを「記憶」するのではなく、訓練データ内の統計的規則性を学習し、これらの規則性に合致する新しいデータを生成できる、初期の生成AIモデルでした。21世紀初頭には、ヒントンは簡略化されたボルツマンマシンを使用して、ディープニューラルネットワークの訓練を悩ませていた問題を解決し、それによってディープラーニングの発展を推進しました。
2012年までに、ヒントンや他の先駆者たちが開発したディープニューラルネットワークは、様々な分野で画期的な成果を上げ、無視できない存在となりました。「当時、誰もが気づいたのです。これは本当に驚くべき効果があり、テクノロジー業界全体を根本的に変えようとしている、と」とズデボロバは言います。今日、私たちが日常的に使用する生成AIモデル、例えば大規模言語モデルのChatGPTや画像生成モデルのMidjourneyなどは、本質的にディープニューラルネットワークに基づいています。彼らの成功は、1970年代に「スピングラスの奇妙な振る舞い」を見過ごすことを潔しとしなかった物理学者たちにまで遡ることができます。
しかし、ホップフィールドネットワークはAI開発の「古い橋」に過ぎません。新しいアイデアが出現するにつれて、この古いモデルは新たな生命を得ています。
2016年、ホップフィールドとIBM研究員のドミトリー・クロトフは、ホップフィールドネットワークが単一のモデルではなく、異なる記憶容量を持つ一大クラスのモデルの総称であることを発見しました[3]。2020年には、フーバート・ラムザウアーの研究チームが、ほとんどの現代AIモデルが採用しているTransformerアーキテクチャの重要な部分[4]が、実際にはこのホップフィールドネットワークファミリーの一員であることをさらに指摘しました。
この発見に基づき、クロトフとそのチームは最近、エネルギー変換器（Energy Transformer）[5]と呼ばれる新しいディープラーニングアーキテクチャを提案しました。従来のAIアーキテクチャは通常、設計に多くの試行錯誤を要しますが、クロトフは、エネルギー変換器はそのエネルギーランドスケープを意図的に設計することで、より複雑なホップフィールドネットワークを構築するように、より体系的にAIモデルを構築できると考えています。
ホップフィールドネットワークは元々「記憶」のために設計されましたが、今日、研究者たちはその「創造」の可能性を探求しています。例えば、画像生成器Midjourneyの背後にある拡散モデル（diffusion model）は、物理学における拡散プロセスからインスピレーションを得ています。訓練中、研究者たちは画像データ（例えば猫の画像）にノイズを加え、その後モデルにノイズを除去するよう訓練します。これはホップフィールドネットワークの機能と非常によく似ています。異なるのは、拡散モデルが同じ猫の画像に戻るのではなく、ノイズのあるランダムな初期状態から「非猫」の特徴を取り除くことで、新しい猫を生成するという点です。
クロトフとその同僚（ベンジャミン・フーバー、ユチェン・リャン、バオ・ファムを含む）は、拡散モデルが実際には現代のホップフィールドネットワークの特殊なタイプとして理解できることを指摘しています[6]。この理解方法は、これらのネットワークの特定の挙動特性を予測するためにも使用できます。彼らの研究は、現代のホップフィールドネットワークにますます多くのデータを入力しても、その記憶能力が飽和するだけでなく、モデルのエネルギーランドスケープが極めて起伏に富み、最終的には実際の記憶ではなく、架空の記憶を「記憶」する可能性が高くなることを示しています。このとき、それは「拡散モデル」に「なる」のです[7]。
物理学者にとって、量の単純な変化（例えば訓練データの増加）によって質的な変化が引き起こされるこの現象は珍しいことではありません。凝縮系物理学者フィリップ・アンダーソンが1972年に述べたように、「多は異なり」（more is different）なのです[8]。集団システムでは、構成要素間のネットワーク規模を拡大するだけでも、予期せぬ新しい挙動が生まれる可能性があります。「ニューラルネットワークが機能するという事実そのものが、創発特性なのです」とメザールは述べています。
ディープラーニングアーキテクチャであろうと、人間の脳自体であろうと、その「創発性」は魅力的でありながら謎に満ちています。私たちはまだ普遍的な創発理論を持っていません。おそらく、最も初期に集団現象を理解するために使用された統計物理学こそが、これらの複雑な人工知能システムを使用するのを助けるだけでなく、それらの本質を理解するための鍵となるでしょう。
参考文献：
[1] ホップフィールド、ジョン. Now What? 2018年。
[2] Hopfield JJ. Kinetic proofreading: a new mechanism for reducing errors in biosynthetic processes requiring high specificity. Proc Natl Acad Sci U S A. 1974 Oct;71(10):4135-9. doi: 10.1073/pnas.71.10.4135. PMID: 4530290; PMCID: PMC434344.
[3] Krotov, Dmitry, and John J. Hopfield. “Dense Associative Memory for Pattern Recognition.” ArXiv:1606.01164 [Cond-Mat, Q-Bio, Stat], 27 Sept. 2016, arxiv.org/abs/1606.01164.
[4] Ramsauer, Hubert, et al. “Hopfield Networks Is All You Need.” ArXiv:2008.02217 [Cs, Stat], 28 Apr. 2021, arxiv.org/abs/2008.02217.
[5] Hoover, Benjamin, et al. “Energy Transformer.” ArXiv.org, 2023, arxiv.org/abs/2302.07253.
[6] Hoover, Benjamin, et al. “Memory in Plain Sight: Surveying the Uncanny Resemblances of Associative Memories and Diffusion Models.” ArXiv.org, 2023, arxiv.org/abs/2309.16750. Accessed 20 May 2025.
[7] Pham, Bao, et al. “Memorization to Generalization: The Emergence of Diffusion Models from Associative Memory.” OpenReview, 2024, openreview.net/forum?id=zVMMaVy2BY. Accessed 20 May 2025.
[8] Anderson, P. W. “More Is Different.” Science, vol. 177, no. 4047, 4 Aug. 1972, pp. 393–396, https://doi.org/10.1126/science.177.4047.393.
厳選記事：
1.