大規模言語モデル（LLM）が急速に発展している今日、その性能をいかにしてさらに向上させるかが研究者たちの焦点となっています。現在、多くの研究は「繰り返しサンプリング-投票」フレームワークに基づき、テスト時に大量のサンプリングを行うことで回答の精度を高めています。時には、一つの問題に対して何百回、何千回ものサンプリングが必要となり、これが膨大な計算コストをもたらしています。私たちは思わず問いかけます：本当にそんなに多くのサンプリングが必要なのでしょうか？
本稿で紹介する ModelSwitch 戦略は、性能と効率の間のバランス点を見つけるものです。単一モデルのサンプリング回数をむやみに増やすことをやめ、巧妙にサンプリング予算を複数のLLMに割り当て、それらの潜在的な相補的利点を活用します。
▲ 図1. ModelSwitchとSelf-ConsistencyのMathおよびMathBenchデータセットにおける性能比較
図1に示すように、MATHデータセットにおいて、ModelSwitch（GPT-4o miniとGemini 1.5 Flashの組み合わせを使用）はわずか35回のサンプリングで81%の精度を達成しました。この結果は、より強力なGemini 1.5 FlashがSelf-Consistency手法を単独で用いて512回ものサンプリングを行って達成した79.8%の精度を上回るだけでなく、計算効率においても最大14倍の向上を実現しました！
MathBenchデータセットでは、ModelSwitch（Gemma-2-9B-ItとLlama-3.1-8B-Instructの組み合わせを使用）はわずか48回のサンプリングで75%の精度を達成し、より強力なGemma-2-9B-ItがSelf-Consistency手法を単独で用いて512回のサンプリングで達成した73.7%の精度を上回り、効率も同様に10倍向上しました。
論文タイトル：
Do We Truly Need So Many Samples? Multi-LLM Repeated Sampling Efficiently Scales Test-Time Compute
論文リンク：
https://arxiv.org/abs/2504.00762
プロジェクトコード：
https://github.com/JianhaoChen-nju/ModelSwitch
ModelSwitchアルゴリズムメカニズムの詳細
ModelSwitchの核となるメカニズムは何でしょうか？答えは、モデルが生成する回答の一貫性を信号として利用し、異なるモデル間でインテリジェントな切り替えを行うことです。この設計は、ある重要な経験的観察に基づいています。それは、モデルの精度は、回答を生成する際に示す一貫性と密接に関連しているということです。
想像してみてください。あるモデルが特定の質問に対して、ばらばらで非常に一貫性のない回答を出す場合、それは通常、その問題に対して「自信がない」ことを意味し、正しい可能性が低いことを示します。
ModelSwitchはこの不確実な信号を捉えた後、現在のモデルに固執することなく、別のLLMに果敢に切り替え、次のモデルが前のモデルが知らなかったことを知っている可能性に期待します。もし後続のモデルが非常に一貫した回答を出すことができれば、正しい解決策を得る確率は大幅に増加します。
▲ 図2. 2つのLLM間で動作するModelSwitchの概略図
図2を参照すると、ModelSwitchアルゴリズムは実行時に複数のLLMに事前に割り当てられたサンプリング数の回答を順次生成させます。現在のモデル が出すすべての回答が完全に一致する場合、アルゴリズムはその回答を自信を持って採用し、プロセス全体を早期に終了させ、後続のモデルの計算コストを節約します。
しかし、 の回答が一貫しない場合、アルゴリズムは次のモデル にサンプリングを継続するよう引き継ぎ、いずれかのモデルが完全に一致する回答を生成するまで続けます。もしどのモデルも完全に一致する回答を生成できない場合、またはすべてのモデルがサンプリングを終えた場合は、すべてのモデルの回答を統合します。
この動的な切り替えは、最終的な回答の精度を向上させるだけでなく、不必要な計算コストを大幅に削減することも目的としています。回答を統合する際、ModelSwitchは加重投票アルゴリズムを採用しています。
加重投票アルゴリズムは、2つの側面の重みを総合的に考慮します。1つは、各モデルが現在のクエリに対して回答を出す際の一貫性 であり、これは回答分布のエントロピーを通じて計算され、一貫性が高いほどエントロピーが低くなり、重みが高くなります。もう1つは、モデル自身の事前性能 です。このような設計により、特定の質問におけるモデルの確信を動的に捉えるとともに、モデルの過去のパフォーマンスも考慮することができます。
性能評価
それでは、ModelSwitchはより広範な実際のテストでどのように機能するのでしょうか？研究チームは、数学的推論（GSM8K, MATH, AIME24）、常識および特定領域知識理解（MMLU-Pro）、記号推論（DATE）、多言語タスク（MGSM）など、多様な課題をカバーする7つのデータセットでModelSwitchを広範かつ厳格に評価しました。
実験では、GPT-4o mini、Gemini 1.5 Flash、Claude 3 Haiku、GPT-4o、Gemini 1.5 Proを含む複数のクローズドソースLLMと、Llama-3.1-8B-Instruct、Gemma-2-9B-It、Qwen2.5-7B-Instruct、Llama-3.1-70B-Instructを含む複数のオープンソースLLMが使用されました。
主に単一LLMの繰り返しサンプリング・投票方法であるSelf-Consistencyと、MAD、ChatEval、AgentVerse、MOAを含む様々な高度なマルチエージェントディベート方法が比較されました。
実験結果から得られたいくつかの重要な発見は、ModelSwitchの価値を浮き彫りにしています。
まず、すべての実験を通じて貫かれた基本的な発見は、モデルが生成する回答の一貫性（エントロピーで測定され、エントロピーが低いほど一貫性が高い）と最終的な回答の精度との間に、普遍的で強い正の相関関係が存在することです。
図3に示すように、回答のエントロピー値と精度は顕著な負の相関を示し、相関係数｜r｜は常に0.8より大きく、統計的に非常に有意です（p<0.001）。この複数のモデルとデータセットにわたる普遍的な法則は、ModelSwitchが一貫性を中心的な判断信号として依存するメカニズムに強固な実証的根拠を提供します。「一貫性はしばしば正しさを意味し、混乱は間違いを起こしやすい」ということを示しています。
▲ 図3. MATHとMathBenchにおける6つの一般的なLLMの回答の一貫性（エントロピー）と精度の相関関係
次に、単一モデルのSelf-Consistencyとの比較において、ModelSwitchは性能と効率の二重の優位性を示しました。図4に示すように、すべてのデータセットにおいて、ModelSwitchが2つのLLM（Gemini 1.5 FlashとGPT-4o mini）を切り替える効果は、単一モデルのSelf-Consistencyを上回りました。
例えば、サンプリング予算が1回から16回に増加した場合、ModelSwitchのMathBenchでの性能は7パーセントポイント向上しました（72.7%から79.7%へ）。これは、単一モデルのSelf-Consistencyによる向上、すなわちGemini 1.5 Flashの2.6パーセントポイント（72.7%から75.3%へ）およびGPT-4o miniの1パーセントポイント（71.7%から72.7%へ）を顕著に上回りました。
同時に、ModelSwitchは平均して34%のサンプリング回数を節約でき、API呼び出しコストと計算消費を大幅に削減します。さらに、小規模モデルの組み合わせは、ModelSwitchを通じて単一のより大規模なパラメータモデルの性能を超えることができます。例えばGSM8Kでは、ModelSwitchはより大規模なモデルであるGPT-4oとGemini 1.5 Proの両方を同時に上回りました。
▲ 図4. GPT-4o miniとGemini 1.5 Flashの組み合わせを用いたModelSwitchと、2つのモデルが単独でSelf-Consistencyを用いた場合の性能比較
さらに、主流のマルチエージェントディベート手法と比較しても、ModelSwitchは総合的に優れていました。図5に示すように、統一された15回の公平なサンプリング予算の下で、ModelSwitchは複数のデータセットにおいて他の5つの複雑なマルチエージェントディベートフレームワークの性能を上回りました。
特に、非常に挑戦的なMMLU-Proデータセットでは、ModelSwitchの精度は63.2%に達し、これは最高の単一LLM（53%）を10.2パーセントポイントも上回り、MAD（47.6%）やMOA（52.6%）よりも顕著に優れていました。
この背景にある理由は、ModelSwitchが簡潔な切り替えメカニズムを採用していることで、複雑なマルチエージェントの相互作用プロセスで発生する可能性のあるエラー伝播の問題を効果的に回避している点にあります。
▲ 図5. ModelSwitchとマルチエージェントディベート手法の性能比較
ModelSwitchの性能に影響を与える要因分析
実験では、LLMの数と並び順がModelSwitchの性能に与える影響も調査しました。図6に示すように、性能向上が最も顕著な段階は、LLMの数が1つから2つに増加したときに発生します。LLMの数をさらに増やしても、得られる利益は減少する可能性があり、性能は横ばいになるか、わずかに低下する可能性があります。
このことから、ModelSwitchには、性能が同等で多様性を持つ少数のLLM（通常は2つ）の組み合わせを選択することが、最良の結果を達成するための鍵となることが示唆されます。
モデルの並び順に関しては、強いものから弱いものへの順序で並べることで、早期に一貫性を達成し全体的な効率を向上させることができますが、ModelSwitchはモデルの順序に対して比較的良好な頑健性を示しており、たとえ弱いものから強いものへの並びであっても、最終的な性能が急激に低下することはありませんでした。
▲ 図6. モデルの数と順序がModelSwitchの性能に与える影響
最後に、ModelSwitchはより強力な検証メカニズムと効果的に組み合わせることで、さらなる性能の飛躍を実現できます。図7に示すように、ModelSwitchをQwen2.5-MATH-RM-72Bのような高性能報酬モデルに基づくBest-of-N選択戦略（略称RM-BoN）と組み合わせると、その性能はさらに向上しました。
MATHデータセットでは、RM-BoNと組み合わせた後の精度は、多数決の80%から84%に向上しました。さらに、ModelSwitch+RM-BoNの組み合わせは、最高の単一LLMにRM-BoNを組み合わせた戦略よりも優れていました。
▲ 図7. ModelSwitchと単一モデルを報酬モデルと組み合わせた検証メカニズムの性能比較
論文まとめ
ModelSwitchは、追加の学習や複雑なモデル結合を必要としないシンプルで効率的な戦略です。回答の一貫性に基づく動的なモデル切り替えメカニズムを通じて、複数のLLMがテスト時の計算において持つ相補的利点を巧みに利用し、様々なベンチマークテストで全体の性能と計算効率を大幅に向上させました。
この方法の核となるメカニズムは、モデルの回答の一貫性と精度との間に強い相関関係があるという経験的観察に基づいており、強固な理論分析によって裏付けられています。
全体として、ModelSwitchは大規模言語モデルの推論時における計算能力を効果的に拡張するための、シンプルで普遍的かつ非常に効果的な解決策を提供します。
さらに読む
# 投稿チャネル #
あなたの文章をより多くの人に見てもらおう
より質の高いコンテンツが読者層により短い経路で届き、読者が質の高いコンテンツを探すコストを削減するにはどうすればよいでしょうか？答えは：あなたが知らない人たちです。
あなたが知らない人の中には、あなたが知りたいことを知っている人が必ずいます。PaperWeeklyは、異なる背景、異なる分野の研究者や学術的なインスピレーションが互いに衝突し、より多くの可能性を生み出す架け橋となるかもしれません。
PaperWeeklyは、大学の研究室や個人が、最新の論文解説、学術ホットトピックの分析、研究経験、競技会の経験談など、質の高いコンテンツを私たちのプラットフォームで共有することを奨励しています。私たちの目的はただ一つ、知識を真に流通させることです。
📝 記事の基本要件：
• 記事は個人のオリジナル作品であり、公開チャネルで発表されていないことを確認してください。他のプラットフォームで発表済みまたは発表予定の記事である場合は、明確に記載してください。
• 記事はmarkdown形式で記述することをお勧めします。記事中の図は添付ファイルとして送信し、画像は鮮明で著作権問題がないことを確認してください。
• PaperWeeklyは原作者の署名権を尊重し、採用されたオリジナルの初回公開記事ごとに、業界で競争力のある報酬を提供します。報酬は、記事の閲覧数と品質に応じて段階的に決定されます。
📬 投稿チャネル：
• 投稿メールアドレス：hr@paperweekly.site
• 投稿の際は、記事採用時に著者に速やかに連絡できるよう、即時連絡先（WeChat）を明記してください。
• また、編集者のWeChat（pwbot02）を直接追加して迅速に投稿することも可能です。その際、「氏名-投稿」とメモしてください。
△長押しでPaperWeekly編集者を追加
🔍
現在、「知乎」でも私たちを見つけることができます。
知乎のトップページで「PaperWeekly」を検索し、
「フォロー」をクリックして私たちのコラムを購読してください。
・