強化学習（Reinforcement Learning、RL）をマルチモーダル大規模言語モデル（Multimodal Large Language Models、MLLMs）の推論能力に組み込む研究分野は急速に発展しており、革新的な最先端課題となっています。マルチモーダル大規模言語モデルは、従来の言語モデル（LLMs）を基盤として大幅に拡張され、画像、音声、動画などの多様なモダリティを処理できるようになりましたが、マルチモーダル入力下での堅牢な推論を実現するには依然として重大な課題に直面しています。本稿では、強化学習に基づくマルチモーダル推論の研究進捗を体系的にレビューし、コアアルゴリズム設計、報酬メカニズムの革新、および実際の応用事例を網羅しています。特に、価値関数を使用しない手法（value-free）と価値関数に基づく手法（value-based）という2つの主要な強化学習パラダイムを分析し、RLが推論軌跡の最適化とマルチモーダル情報の連携を通じて推論能力をどのように強化するかを探ります。さらに、本稿では、主要なベンチマークデータセット、評価方法、および現在の研究の限界を包括的に整理し、疎な報酬、非効率なクロスモーダル推論、現実世界のデプロイメントなどの主要なボトルネックに対処するための将来の研究方向を提案します。私たちの目標は、マルチモーダル時代のRL推論研究を進めることを志す研究者の方々に、体系的かつ包括的な参考ガイドを提供することです。
大規模言語モデル（Large Language Models、LLMs）の台頭 [2, 35, 36, 94, 130] は、人工知能分野に前例のない新時代をもたらし、卓越した指示追従能力と少量のデータからの学習能力 [10] を示しました。しかし、人間のような知能を実現するには、基本的な認識能力を超えるだけでなく、文脈理解と自己修正を通じて繰り返し推論を行う複雑な認知能力を発展させる必要があります。これに触発され、コンテキスト内学習（In-context Learning、ICL）技術 [112, 113, 121] は、LLMsに段階的に推論する能力を与え、このメカニズムは通常「思考の連鎖」（Chain-of-Thought、CoT）推論メカニズム [9, 109, 114, 146] と呼ばれています。OpenAIのo1モデル [45] は、推論タスクの解決において優れた性能を示し、各分野で推論能力のテスト時スケーリング（test-time scaling）に関する研究への広範な注目を集めました。推論プロセスに追加の計算を導入して「ゆっくり考える」[49] を実現することで、このモデルは複雑な問題に対する回答精度をさらに向上させました。
LLMsで広く行われているCoT研究に触発され、マルチモーダル大規模言語モデル（Multimodal Large Language Models、MLLMs）における推論タスク [6, 69, 96, 105, 119] も急速に進展しました。典型的な方法には、Best-of-N、Beam Search、およびモンテカルロ木探索（Monte Carlo Tree Search）[13, 99, 108, 125, 132] が含まれます。これらの方法は、複雑な探索メカニズムに依存して大量の推論データを生成し、教師ありファインチューニングを通じてモデルが自律的な推論能力を学習することを可能にします。
強化学習（Reinforcement Learning、RL）の理論と技術の進歩に伴い、DeepSeek R1 [37] は、ルールに基づいた単純なインセンティブメカニズムと軽量な強化学習アルゴリズム（GRPO [85] など）を通じて、大規模言語モデルが複雑な推論能力を自律的に学習できることを示しました。この手法により、LLMsは明示的な監督なしで自然に「アハ体験」（Aha Moment）を生成し、訓練中にモデルが自己反省し、回答長さを自律的に延長する形で現れます。最近の研究 [43, 63, 76, 150] は、この方法をMLLMsに拡張し、オブジェクト認識 [63]、セマンティックセグメンテーション [60]、動画分析 [91] などの分野に応用しています。これらの手法は、限られた訓練データの下でMLLMsの性能を大幅に向上させ、ドメイン内テストでは教師ありファインチューニング（SFT）手法に匹敵し、分布外（OOD）評価ではSFTモデルを凌駕しています。
しかしながら、図1に示すように、この急速に発展する傾向は研究者にとって多くの課題をもたらしています。RLベースの手法は有効ですが、そのほとんどはテキストベースの思考パラダイムを踏襲しており、マルチモーダルシナリオで他のモダリティが果たす重要な役割を無視しています。さらに、現在のRL推論手法は、主にルールに基づいた報酬関数と検証可能な答えに依存しており、明確な答えがない問題のような、より広範な汎化シナリオをカバーできていません。
MLLMsの推論能力に焦点を当てた複数のサーベイは既に存在しますが [54, 110]、MLLMsにおけるRLベースの推論手法に特化した体系的な文献はまだありません。この空白を埋めるために、本稿はRLベースのMLLMs推論手法を体系的に概説し、技術発展、方法論体系、実際の応用、および将来の方向性を包括的に整理することで、急速に進化するMLLM推論研究分野に体系的な参照と指導を提供し、この分野の継続的な革新を推進することを目指します。
まず、第2節ではMLLMs、思考の連鎖推論メカニズム、および強化学習の関連背景を紹介します。次に、第3節ではLLMsおよびMLLMsにおけるRLアルゴリズム設計とその最適化戦略をレビューします。第4節から第6節では、MLLMsにおけるRLベースの推論手法のアルゴリズム設計、報酬メカニズム、およびベンチマーク評価について詳しく説明します。最後に、第7節では現在の限界と将来の研究方向について考察します。
本稿は、以下の4つの主要な視点から、強化学習に基づくMLLMsの推論手法を体系的に分析します：
LLMsおよびMLLMsにおけるRLの主要な設計と最適化戦略を探求する：価値関数を使用しない手法（value-free）と価値関数に基づく手法（value-based）のコア概念と改善方向の分析に焦点を当て、訓練効率、安定性、推論性能を向上させるための革新的なソリューションを探求し、各手法の利点と欠点、および将来の最適化の可能性を比較します。
既存のRLベース推論手法のアルゴリズムフレームワーク、報酬関数設計、およびマルチモーダル融合戦略を分析する：使用される強化学習アルゴリズム、報酬メカニズム（精度指向または構造指向）、およびマルチモーダル入力の統合（視覚、音声、時間情報を含む）の観点から、代表的な手法を体系的に分類します。
MLLM推論能力を評価するためのベンチマークデータセットと評価プロトコルを調査する：データソース、モデル出力収集、好みのアノテーション方法を含むデータセット構築プロセスを分析し、数学、科学、空間、インタラクティブなど様々な種類の推論タスクを網羅し、ドメイン固有性および汎化能力に応じて整理します。
現在の限界を特定し、将来の研究方向を提案する：疎で静的な報酬フィードバック、非効率な推論パス、弱いクロスモーダル協調などの現在の課題を議論し、階層的な報酬モデリング、視覚誘導型CoT生成、現実世界のマルチモーダルエージェントに適した軽量RLフレームワークなど、有望な方向性を探求します。