論文タイトル：
Does Learning Mathematical Problem-Solving
Generalize to Broader Reasoning?
論文リンク：
https://arxiv.org/pdf/2507.04391
要約：
本稿では、大規模言語モデル（LLMs）におけるより広範な推論能力への数学的問題解決（Mathematical Problem-Solving, MPS）訓練方法の汎化可能性を探ります。研究の核心的な問いは、数学的問題解決の学習が、他の推論タスクにおけるモデルのパフォーマンスを向上させるのか、それとも数学的問題解決のベンチマーク性能向上に限られるのか、という点です。
研究背景
認知神経科学の研究によると、数学的問題解決の学習は、論理的思考、抽象推論、および領域横断的に転用可能な問題解決戦略を促進することにより、人間の汎用推論能力を高めることが示されています。
この「数学がAIを促進する」という理念は、AI訓練に数学的推論データを取り入れることで、大規模言語モデルがより複雑で多様な推論能力を発展させるのに役立つ可能性があると提唱しています。
しかし、現在のほとんどの研究は、数学的問題を解決するために特化したモデルの開発に集中しており、これらの訓練方法が他の種類の推論タスクでモデルの性能向上に本当に役立つのかはまだ不明です。
研究方法
本稿では、LLMsの数学的問題解決能力を向上させるために一般的に用いられる5つの訓練戦略を調査しました：
1. 継続事前訓練（Continual Pretraining）：大規模な数学テキスト上でLLMsの事前訓練を拡張し、数学領域への適応性を強化します。
2. STEMデータに基づく教師ありファインチューニング（Supervised Fine-tuning on STEM Data）：広範なSTEM分野からの多様な質問応答ペアを用いてモデルを訓練し、その汎用推論能力を向上させます。
3. 短い推論連鎖を持つMPSサンプルに基づく教師ありファインチューニング（Supervised Fine-tuning on MPS Samples with Short Reasoning Chains）：数学的問題解決データセット上でモデルを直接訓練し、その解決策は簡潔で段階的な形式で提示されます。
4. 長い自己反省的推論連鎖を持つMPSサンプルに基づく教師ありファインチューニング（Supervised Fine-tuning on MPS Samples with Long, Self-Reflective Reasoning Chains）：拡張的かつ自己反省的な推論の生成を強化することで、モデルの能力を向上させる新しいパラダイムです。
5. ルールベースの強化学習（Rule-based Reinforcement Learning）：ルールベースの報酬メカニズムを使用してモデルの推論能力を向上させます。
実験設計
評価ベンチマーク：研究者はモデルを評価するために、5つの数学的問題解決ベンチマークと8つの汎用推論ベンチマークを選択しました。
モデル設定：前述の5つの訓練戦略をカバーする、様々なオープンソースモデルまたは自社訓練モデルが使用されました。
実験設定：現実のシナリオをシミュレートするため、ほとんどの実験には汎用対話データセット（UltraChat）を用いたファインチューニングが加えられました。
主要な結論
1. 継続事前訓練の効果：数学テキストでの継続事前訓練は、6つの汎用推論タスクでモデルのパフォーマンスを向上させることができましたが、数学的問題解決の向上は限定的でした。
2. 短い推論連鎖の限界：短い推論連鎖に基づく教師ありファインチューニングは、数学的問題解決タスクでは良好なパフォーマンスを示しましたが、非数学的推論タスクでは不十分であり、場合によっては汎化性能を損なうことさえありました。
3. 長い推論連鎖の利点：長い推論連鎖を用いて訓練されたモデル（例：LIMO）は、汎用推論タスクで顕著な性能向上を示し、特にGPQAやLogiQAなどの特定のベンチマークでは、それぞれ10.2%と11.8%の相対的な向上が見られました。この長い推論連鎖訓練は、モデルの「長い推論モード」を活性化させ、異なる推論タスクでより良いパフォーマンスを発揮させます。
4. 強化学習の可能性：ルールベースの強化学習（例：SimpleRL-ZeroおよびSimpleRL）は、数学的および汎用推論タスクの両方で向上を示し、強化学習が推論能力を向上させる効果的な方法である可能性を示唆しています。
その他の発見
データカバレッジの重要性：データカバレッジ分析により、事前訓練データセット（例：OpenWebMath）は、専門の数学的問題解決データセット（例：MetaMath）よりも汎用推論タスクとの重複度が高いことが判明しました。これが、汎化タスクにおいてより効果的である理由である可能性があります。
非数学的推論データの限界：研究者らは、他の非数学的推論データセット（例：Magicoder-Evol-Instruct、Magpie-Reasoning、およびOpenOrca）の汎化可能性も探りましたが、これらのデータセットは広範なタスクで満足のいく汎化効果を達成できませんでした。これは、汎化能力を著しく向上させるために新しい訓練目標が必要であることを示唆しています。
結論
本稿は、実験を通じて、従来の短い推論連鎖訓練方法がモデルの汎用推論能力向上に限定的な効果しかない一方、長い推論連鎖訓練とルールベースの強化学習はより良い汎化可能性を示すことを明らかにしました。これらの発見は、数学的問題解決訓練を通じてモデルの汎用推論能力を向上させる方法に関する将来の研究に新たな方向性を提供します。