著者 | 費斌杰 熵簡科技CEO
ChatGPTの父Ilya SutskeverがOpenAIからの離職を正式に発表した直後、最初にいいねしたAI論文が大きな注目を集めました。
この論文のタイトルは《The Platonic Representation Hypothesis》（プラトニック表現仮説）で、MITチームが先週発表しました。
週末にこの論文をじっくり読み終え、言葉にできない衝撃を受けました。Gen AIのパイオニアであるIlyaが選んだ論文はやはり格別です。
この論文は将来のAI発展の道筋と方向性に指導的な意味を持ちます。テック投資家、AI実務者、AIに興味のある方々は必読です。
この論文のエッセンスを皆さんに解説します。
この記事を読めば、深層学習モデルの未来に対する全く新しい哲学的認識を持つでしょう。
（1）プラトンの洞窟の寓話
すべてはプラトンの洞窟の寓話から始まります。
洞窟の寓話は、プラトンが著書『国家』で提案した思考モデルで、「現実」とは何かを探求します。
洞窟の寓話では、一生洞窟に鎖で繋がれた囚人たちのグループが登場し、洞窟外の世界を何も知りません。
彼らは常に一枚の壁に向かい、後ろのさまざまな物体の壁への影しか見えません。
長く続くと、これらの影が彼らの「現実」となりますが、真の現実世界の正確な表現ではありません。
洞窟の寓話では、「影」は私たちの感覚器官を通じて感知する現実の断片を表し、目で見る画像、耳で聞く音、手で触れる形はすべて「現実」の投影に過ぎません。
プラトンの師ソクラテスは、哲学者は洞窟から解放された囚人のようなもので、洞窟を出て陽光の下で壁の影が「現実」ではなく「現実」の投影だと徐々に理解すると述べました。
哲学者の目標は、論理、数学、自然科学などの手段でより高いレベルの「現実」を理解・感知し、格物致知で「道」を探求することです。
今、この壮大な目標は哲学者からAI科学者に引き継がれました。
（2）プラトニック表現仮説とは？
プラトンの洞窟の寓話を理解すれば、プラトニック表現仮説は理解しやすくなります。
プラトニック表現仮説（Platonic Representation Hypothesis）は、異なるAIモデルが統一された現実表現に収束していることを指します。
これは少し抽象的かもしれません。具体的に説明します。
上図のように、現実Zを円錐+球体と仮定します。するとXは現実Zの画像モダリティの投影、Yはテキストモダリティの投影です。
ここで2つのAIモデルを訓練：CVモデルfimgとテキストモデルftext。それぞれXとYの表現を学習します。
しかし、モデルパラメータ規模と訓練データの拡大に伴い、これら2モデルは最終的に投影X,Yの背後にある現実Zの表現を学習します。
十分に賢くなったAIモデルは、鎖につながれた囚人ではなく、洞窟を出た哲学者となります。
壁の投影ではなく、事物の本質を理解し、高次元現実を感知します。
これがプラトニック表現仮説の意味です。著者の定義を見れば理解しやすいです。
プラトニック表現仮説には重要な推論があり、異なるモダリティ・アルゴリズムアーキテクチャのAIモデルが同じ終点、高次元現実の正確な表現に収束します。
具体的には、この現実表現は確率モデルで、現実イベントの同時分布です。
これらの離散イベントは未知分布からサンプリングされ、画像、音声、テキスト、質量、力、トルクなど多様な方法で観測可能です。
（3）プラトニック表現仮説の有効性検証
仮説なので、有効性を検証する方法を探します。
幸い科学者は定量分析のための数学ツールを持っています。
Phillipは「表現アライメント」（Representation Alignment）を2つの表現のkernel上の類似度測定として定義。
これに基づき、2つの表現の類似度を評価するModel Stitching技術を使います。
Model Stitchingの原理は直感的：2モデルの中间表現層をStitching Layerで繋ぎ、新しい「縫合」モデルを作成。
この「縫合」モデルの性能が良ければ、元の2モデルのその層の表現は互換性があり、異なるデータセットで訓練されていてもです。
（4）実験結果：強者は似通い、弱者はそれぞれの弱さを持つ
「モデル縫合」技術と「表現アライメント」評価で、プラトニック仮説の存在を検証。
Phillipは78のCVモデルを選び、訓練データ、タスク目標、アルゴリズムアーキテクチャが異なるものを表現類似度分析。
実験結果は非常に興味深い。下図を解説します。
まず左の棒グラフ。横軸はVTABタスク通過率で、高いほど性能強い。Phillipは78 CVモデルを性能で5 bucketに分け、右に行くほど強い。
縦軸は各bucket内全モデルの表現類似度。棒が高いほど類似度高い。
性能が強いほど表現類似度が高く、弱いほど低いのが明らか。
右の散布図でより明確。各点はCVモデル。赤いほど弱く、青いほど強い。
強いモデル（青点）は集まり、高い類似度。弱いモデル（赤点）は分散、低い類似度。
レフ・トルストイの『アンナ・カレーニナ』：「幸福な家族はすべて似ている。不幸な家族はそれぞれの不幸がある。」
Phillipはユーモラスに：「強力なモデルは似通う。弱いモデルはそれぞれの弱さを持つ。」
（5）AIモデル表現収束の3大原因
実験からプラトニック表現仮説が存在することがわかります。
なぜAIモデルがこれほど明確な表現収束を示すか？Phillipによると主に3原因。
第一原因：Task Generality
特定タスク（例：画像分類）のみなら実現法多数。
複数異なるタスクを同時にこなすなら実現法は少なくなる。
下図のように、各タスク目標がモデルに追加制約。各タスク（翻訳、QA、コード執筆、数学解）を同時にこなすと表現空間が狭まる。
実際、大規模言語モデルは多タスク訓練。次のトークン予測は包括的なタスク集合。
多タスク訓練がより多くの制約をかけ、よりタイトで高品質な解空間へ導く。
これがLLMが知能を出現させる有力解釈。
第二原因：Model Capacity
モデルが大きいほどグローバル最適表現に近づき、収束を促進。
下図：黄・緑領域は2 AIモデルの表現空間。同心円はloss等高線、中央がグローバル最適。
左図：パラメータ小さいため勾配降下で局所最適（☆）のみ。
パラメータ増で領域拡大。右図：共有グローバル最適（★）発見、収束。
第三原因：Simplicity Bias
深層ニューラルネットはオッカムの剃刀原則を自然に従い、「単純性バイアス」があり、最単純解を選択。
この特性が深層ネットを現代AI基盤アルゴリズムに押し上げたのかもしれません。
（6）スケーリングは有効だが、必ずしも効率的でない
プラトニック表現仮説には重要推論があり、将来AI発展に方向指導。
パラメータ、タスク多様性、FLOP増で表現収束。
スケーリングアップでAGI達成か？
Yes and No。スケーリングで収束可能だが、方法により効率大差。
例：AlphaFold 3はタンパク質含む生体大分子構造予測、FSDは画像認識で自動運転。
両者は独立タスク。統一AIで両能力実現可能だが訓練非効率、低コストパフォーマンス。
独立タスクでは効率のため、現実統一表現に頼らずショートカットモデル単独訓練可。
一部場面では局所最適の効率達成がグローバル最適より経済価値大。
（7）マルチモーダルデータ間の関係再理解
プラトニック表現仮説はマルチモーダルデータ関係を新視点で再考可能。
M画像とNテキスト保有。最強CVモデル訓練なら全M画像だけでなくNテキストも訓練セットに。
これはAI業界の常套手段。優れたCVモデル多数は事前訓練LLMからファインチューン。
逆も同様。最強テキストモデルなら全Nテキストに加えM画像も。
モダリティ非依存の普遍現実表現が背後にあるため。
訓練セットにクロスモーダル対データ（テキスト-画像対）なくても、純テキストコーパスがCV訓練に直接助け。クロスモーダル対の主価値は収束効率向上。
（8）結語：世界表現のグローバル最適解探求
2000年前、プラトンが洞窟寓話を提案、哲学者らが論理・幾何ツールで現実本質を探求開始。
2000年後、人類ツールボックスに超兵器AI追加。
「格物致知」のバトンはAI科学者に。
この時代、AIで世界表現グローバル最適解を見つけ、洞窟脱出、高次元現実探求・理解、人類社会利益を期待。
All of machine learning is footnotes to Plato.
（完）