今日、大規模言語モデル（LLM）はAI分野のスター技術となっていますが、最新モデルであっても数学の問題処理やコード記述において、思わず苦笑いしてしまうような間違いを犯すことがあることに気づいていますか？なぜそうなるのでしょうか？実は、問題はモデル自体にあるのではなく、その「食生活」、つまり事前学習データの質にあるのかもしれません。
最近の研究では、事前学習データを単に「フィルタリング」するのではなく「書き換える」ことで、モデルの数学的推論能力とコード生成能力が驚くほど向上しました。この研究は、データセットをオープンソース化しただけでなく、より重要なことに、専門分野におけるモデルの性能を継続的に向上させるための再現可能な方法を提供しています。
1. 従来のデータ処理方法の限界
プログラミングを学んでいると想像してください。手元の教材が誤ったコード、一貫性のない命名規則、コンテキストを欠いた断片に満ちていたら、うまく学べるでしょうか？同様に、大規模言語モデルも学習過程で同様の課題に直面しています。
現在公開されているコードデータセット（例：The-Stack-v1/v2）や数学データセット（例：Finemath-4+）は、主にルールベースの抽出やモデル評価に頼って低品質なサンプルをフィルタリングしています。しかし、これらの方法には明らかな限界があります。
（1）単純なフィルタリング：単に「不適格」なサンプルを除外するだけで、残った内容にはスタイルの不一致や非効率なアルゴリズムなどの問題が残る可能性があります。
（2）元のまま保持：情報損失は避けるものの、サンプルの質を向上させることはできません。
（3）品質スコアリング：高品質なコンテンツを識別できますが、中程度の品質のコンテンツを改善することはできません。
これは、果物を選ぶ際に明らかに腐ったものだけを捨てるようなもので、少し傷のある果物を加工して品質を向上させることはしないのと似ています。
2. SwallowCode：クリーニングから書き換えまでの全プロセス最適化
研究チームは、低品質なコードをフィルタリングするだけでなく、残ったコードを完全に書き換える4段階のデータ処理パイプラインを提案しました。
（1）構文エラーフィルタリング
まず、Pythonの組み込み関数compile()を使用して各コード片をチェックし、コンパイルできないサンプルを削除しました。このステップだけでサンプルの約10.6%が削減され、その後の処理の基盤となりました。
興味深いことに、構文エラーのあるコードを取り除くことだけでも、HumanEvalおよびHumanEval+ベンチマークにおけるモデルのパフォーマンスを向上させることができます。
（2）コード品質フィルタリング
チームはPylint（広く使用されているPythonコード品質チェックツール）を使用してコードを採点し、スコアが7.0（10点満点）を超えるサンプルのみを保持しました。また、カスタムアルゴリズムを使用して冗長すぎるコメントにペナルティを課しました。このステップでさらにサンプルの34.3%が削減されました。
これらの厳格に見えるフィルタリング基準は、その後のテストで価値があることが証明されました。なぜなら、これらがモデルに高品質な「学習資料」を提供したからです。
（3）スタイルガイド付きコード書き換え（SGCR）
この段階では、大規模言語モデル（Llama-3.3-70B-Instruct）を使用して、Google Pythonスタイルガイドに従ってコードを書き換えました。
1）ドキュメント文字列とタイプヒントを追加
2）変数再代入パターンを統一
3）関数名とクラス名を標準化
このステップにより、モデルのHumanEvalおよびHumanEval+でのパフォーマンスが9ポイント以上向上しました！
（4）自己完結型最適化書き換え（SCOR）
SGCRは主にコードのスタイルに焦点を当てていますが、SCORはさらにコードの意味論と機能を最適化します。
1）コードの自己完結性を確保：外部依存関係をインライン化または満たす
2）非効率なアルゴリズムをより効率的なものに置き換え
3）些細なコード断片を意味のある実行可能な例に変換
このステップにより、さらに5ポイントのパフォーマンス向上をもたらし、意味論レベルでの書き換えの重要性を強調しました。
最終的なSwallowCodeデータセットは約161億トークンを含み、同じ訓練予算下で他の公開コードデータセットを著しく上回っています。
4. SwallowMath：数学データセットの品質向上
研究チームは、同様の書き換え方法を数学データセットFinemath-4+にも適用し、SwallowMath（約23億トークン）を作成しました。書き換えプロセスには以下が含まれます。
（1）残存するウェブヘッダー、フッター、プライバシーステートメントの削除
（2）余分なメタデータ（質問と回答のタイムスタンプなど）の排除
（3）不完全な質問または回答の欠落したコンテキストの復元
（4）説明を簡潔かつ包括的な形式に書き換え
（5）明確でステップバイステップの解決策の提供
これらの改善により、GSM8Kベンチマークで12.4ポイント、MATHベンチマークで7.6ポイントのパフォーマンス向上をもたらし、数学分野における書き換え方法の有効性を証明しました。
5. 効果：モデルを「倍増」させる進歩
研究者らは、固定された500億トークンの訓練予算内で、Llama-3.1-8Bモデルに対する継続的な事前学習を行いました。結果は以下の通りです。
（1）SwallowCodeを使用：HumanEvalで17.0ポイント向上、HumanEval+で17.7ポイント向上
（2）SwallowMathを使用：GSM8Kで12.4ポイント向上、MATHで7.6ポイント向上
これは、同じ訓練コストでモデルの能力がほぼ「倍増」したことに相当します！
研究チームはまた、厳格なテストセットリークチェックを実施し、性能向上訓練データにテストサンプルが含まれていることによるものでないことを確認しました。結果として、SwallowCodeにはHumanEvalまたはHumanEval+のプロンプトと高い類似性を持つドキュメントは含まれていないことが示されました。
6. なぜ書き換えがフィルタリングより有効なのか？
従来のデータ処理方法が主にフィルタリングに依存するのに対し、この研究で採用された「変換して保持」する方法は以下のことを可能にします。
（1）データ利用率の向上：低品質なサンプルを単に捨てるのではなく、書き換えによって品質を向上させます。
（2）スタイルと構造の統一：データセットのスタイルを統一し、モデルが学習しやすくします。
（3）データの自己完結性の確保：外部依存を減らし、コードの実行可能性を高めます。
（4）アルゴリズム効率の最適化：非効率な実装をより効率的なアルゴリズムに置き換えます。
これは、質の高い「教科書」を選別するだけでなく、それを丁寧に「編集」し「再構成」することで、モデルがより深い知識を学べるようにするのと似ています。
7. 示唆
この研究は、2つの高品質なオープンソースデータセットを提供しただけでなく、より重要なことに、様々な専門分野に応用可能な事前学習データの体系的な改善方法を示しています。
（1）量より質：限られた計算リソースの下では、データ量を単純に増やすよりもデータ品質を向上させる方が効果的です。
（2）フィルタリングより書き換え：低品質データを書き換えることで、データの利用率を最大限に高めることができます。
（3）ドメイン特化処理：異なるドメイン（コード、数学など）には、専用に設計されたデータ処理パイプラインが必要です。
特筆すべきは、実験がPythonに焦点を当てていましたが、このパイプライン設計は言語に依存しません。解析可能な構文とコードスタイルチェッカーがあれば、他のプログラミング言語にも適用できます。
この画期的な研究は、注意深く設計されたデータ処理パイプラインを通じて、より大規模なモデルやより多くの訓練データに依存することなく、専門分野における大規模言語モデルの能力を著しく向上させることができることを示しています。これは、自動推論やソフトウェア開発といったAIの重要な分野における進歩への道を切り開くものです。
これらの方法とデータセットがオープンソース化されることで、将来の大規模言語モデルが数学やプログラミングタスクをより得意とし、これらの分野でより信頼できる支援を提供してくれると信じるに足る理由があります。これもまた、AI開発においてデータ品質がモデルアーキテクチャと同様に、あるいはそれ以上に重要であることを再確認させてくれます。
論文タイトル：Rewriting Pre-Training Data Boosts LLM Performance in Math and Code
論文リンク：https://arxiv.org/abs/2505.02881
おすすめ記事
NVIDIAがLlama-Nemotronシリーズ推論モデルを発表、Zero to One：AI Agent設計パターン詳解
RM-R1：報酬モデリングを推論プロセスと見なす革新的なアプローチ
DeepSeek-R1リリース後の100日間：複製研究と推論言語モデルに関する調査