現在の大規模言語モデル（LLM）には深刻な欠陥があります。その本質は静的であり、新しいタスク、発展する知識領域、または動的なインタラクション環境に応じて内部パラメータを調整できません。
今日、LLMがオープンでインタラクティブな環境に展開されるにつれて、この静的な欠陥はますます顕著になり、リアルタイムで適応的な推論、行動、進化を完了できるエージェント、すなわち「自己進化エージェント」が緊急に必要とされています。
先日、プリンストン大学の助教授である王夢迪氏のチームが、「自己進化エージェント」に特化した初となる体系的かつ包括的な総説研究を発表しました。
論文リンク：https://arxiv.org/abs/2507.21046
主要な貢献は以下の通りです：
エージェントシステムにおける自己進化プロセスを記述するための統一的な理論的フレームワークを確立し、「何を進化させるか」「どのように進化させるか」「いつ進化させるか」を中心に展開し、将来の自己進化エージェントシステムに明確な設計指針を提供しました。
自己進化エージェントの設計に関する評価ベンチマークと環境を研究し、適応性、頑健性、現実世界の複雑性に関連する創発的指標と課題を強調しました。
自律ソフトウェア工学、個別化教育、医療、インテリジェント仮想アシスタントなど、複数の領域における重要な現実世界アプリケーションと、自己進化エージェントの実践的な可能性を示しました。
安全性、個別化、マルチエージェント協調進化、スケーラビリティなど、主要な未解決の課題と有望な将来の研究方向を特定しました。
図｜2022年から2025年における代表的な自律進化エージェントフレームワークの進化パノラマ
自己進化エージェントを理解し、設計するための構造化されたフレームワークを提供することで、この総説は、研究および実際の展開において適応的エージェントシステムを推進するためのロードマップを提供し、汎用人工超知能（ASI）の実現を推進します。この中で、エージェントは予測不可能な速度で経験から学習し進化するだけでなく、広範なタスクにおいて人間の知能レベルに到達またはそれを超えることができます。
現在のトレンド：自己進化可能なエージェント
新しい動的なインタラクション環境に適応できない静的LLMとは異なり、自己進化エージェントは、継続的な現実世界からのフィードバックを通じて学習し続けることで、上記の欠陥を克服できると考えられています。
この総説では、研究チームは「何を進化させるか」（What）、「いつ進化させるか」（When）、「どのように進化させるか」（How）を中心に分析を展開し、自己進化エージェントを理解し設計するための構造化されたフレームワークを構築しました。
具体的には、彼らはモデル、メモリ、ツール、およびそれに対応するワークフローを含むエージェントの様々なコンポーネントを体系的に研究し、それらの進化メカニズム（「何を進化させるか」）を分析しました。次に、既存の進化方法を異なる時間段階と学習パラダイム（教師ありファインチューニング、強化学習、推論時進化など）に分類し（「いつ進化させるか」）、最後に、異なる進化シグナル（テキストフィードバック、スカラー報酬など）とエージェントの異なる進化アーキテクチャ（単一エージェント進化とマルチエージェント進化など）をまとめました（「どのように進化させるか」）。
1.何を進化させるか？
エージェントの自己進化は、エージェントの適応と向上の基盤を形成する複数の重要なコンポーネントを含みます：
まず、モデル（Model）はエージェントの認知の中核であり、その推論、計画、意思決定行動を直接決定します。モデルは内部パラメータを調整し、自身の経験から学習することで、推論と意思決定能力を最適化します。これらの戦略は、受動的学習から能動的、継続的、自己駆動型の改善モードへの学習パラダイムの変化を共同で推進します。
次に、コンテキスト（Context）には、メモリ進化とプロンプト最適化が含まれます。メモリ進化は、意思決定を支援するために情報をどのように保存、忘却、検索するかを重視し、エージェントが知識を蓄積し、過去の出来事を想起し、経験に基づいて行動を調整できるようにします。プロンプト最適化は、命令の表現と構造を調整することでモデルのパフォーマンスを向上させます。エージェントは、プロンプト戦略を自律的に改善し、プロンプトを学習可能なコンポーネントに変換して、エージェントの経験とともに進化させることができます。
さらに、ツール（Tool）では、エージェントはツール使用者から創造者へと変化します。事前設定された静的なツールセットへの依存から、自律的なスキル拡張と最適化の実現へのこの転換は、認知的自給自足への重要な飛躍を示します。これには、ツールの自律的な発見、反復的な最適化による習熟、および複雑なタスク要件に対応するための効率的な管理と選択が含まれます。
加えて、アーキテクチャ（Architecture）も含まれます。単一エージェントシステムの最適化は、主に2つの方向に進みます：エージェントの高レベルアーキテクチャ設計の最適化と、エージェント自身がソースコードを直接変更できるようにすることです。ノードの最適化とコンポーネントレベルの最適化をシステムアーキテクチャ検索プロセスに直接組み込むことでパフォーマンスを向上させます。複雑なマルチエージェントシステムは、集合的な問題解決能力を高めるために、協調構造の動的な最適化に焦点を当てています。
2.いつ進化させるか？
エージェントの進化のタイミングは、テスト中とテスト間の2つの段階に分けられ、異なる学習パラダイムで異なる振る舞いを示します。研究チームは、コンテキスト内学習（In-Context Learning）、教師ありファインチューニング（Supervised Fine-Tuning）、強化学習（Reinforcement Learning）の3つの側面から両段階を研究しました。
テスト中自己進化（Intra-test-time self-evolution）：タスク実行中に発生し、現在のタスクと密接に結合しています。コンテキスト内学習を通じて、エージェントは動的メモリを利用して行動を調整します。教師ありファインチューニングは即時の自己修正を実現します。強化学習は、問題に遭遇した際に特定の新しい能力を学習します。
テスト間自己進化（Inter-test-time self-evolution）：タスク完了後に行われ、過去の経験に基づいて将来のパフォーマンスを向上させます。コンテキスト内学習は、過去のタスクフィードバックを利用して新しいタスクを支援します。教師ありファインチューニングは、自己生成データと評価を通じて反復的な最適化を実現します。強化学習は、大量の環境インタラクションとカリキュラム設計を利用して戦略を最適化します。
図｜報酬に基づく自己進化戦略の概要
3.どのように進化させるか？
図｜エージェント自律進化過程における横断的進化次元の概念図
自己改善能力は高度な知能の基礎です。LLMの文脈では、このメカニズムは動的な報酬駆動型進化プロセスとして現れます。モデルは自身の出力とインタラクションから継続的に学習し、徐々に能力を向上させます。フィードバックメカニズムを導く報酬シグナルの設計は極めて重要であり、学習プロセスの性質、効率、効果を直接決定します。報酬設計の主要な方法論は、フィードバックの種類に応じて4つのカテゴリに分類できます：テキストフィードバック、内部報酬、外部報酬、および暗黙的報酬。
詳細については、元の総説をご覧ください。
応用：汎用領域、特定専門領域
自律進化エージェントは、複数の領域および応用シナリオにおいて技術進歩を推進し、主に2つの大分類を含みます：
汎用領域での進化：エージェントシステムは、広範なタスクにおける能力を拡張するために進化し、主にデジタル領域に焦点を当てます。
専門領域での進化：エージェントシステムは、特定のタスク領域における専門能力を向上させるために進化します。
本質的に、汎用型アシスタントの進化は、学習した経験をより広範なタスクセットに移行させることに焦点を当てていますが、専用型エージェントの進化は、特定の領域内で専門知識を深めることを重視しています。
図｜進化の方向は、汎用領域と専門領域の2つの主要なカテゴリに分けられる
汎用領域での進化とは、汎用アプリケーション向けに設計された自己進化エージェントを指します。つまり、エージェントシステムが進化を通じてデジタル領域での多様なタスク能力を拡大することを意味し、主に以下の3つの方法で能力向上を実現します：メモリメカニズム（Memory Mechanism）、カリキュラム駆動型トレーニング（Curriculum-Driven Training）、およびモデル-エージェント協調進化（Model-Agent Co-Evolution）。これら3つのメカニズムが共同で作用し、インテリジェントアシスタントが複雑で変化するユーザーニーズに継続的に適応し、より効率的なサービス応答を提供できるようにします。
専門領域での進化とは、特定のタスク領域における専門スキルの向上に焦点を当てることを指します。これらの領域では、エージェントの進化は、コード、GUI、金融、医療、教育などの専門領域の専門知識に焦点を当て、狭いタスクセット内でのパフォーマンスを著しく向上させるようにカスタマイズされます。その中で：
プログラミング（Coding）の分野では、自己進化エージェントは革新的な応用を持ち、その自律的な適応と改善能力はソフトウェア開発の効率と品質を向上させることができます。例えば、SICAはコードベースを自律的に編集し、ベンチマークタスクのパフォーマンスを向上させます。EvoMACはマルチエージェント協調ネットワークを最適化することでコード生成を改善します。AgentCoderはマルチエージェントフレームワークを活用してコードを反復的に最適化します。また、高品質な回答を選別するなどの方法でエージェントを継続的に進化させ、機械学習ライブラリなどを構築します。
グラフィカルユーザーインターフェース（GUI）の分野では、自己進化エージェントはLLMの能力をテキスト推論からデスクトップ、ウェブ、モバイルインターフェース操作へと拡張しますが、複雑なアクション空間などの課題に対処する必要があります。関連研究では、ピクセルレベルの視覚と自己強化を通じて精度を向上させます。Naviエージェントは失敗した軌跡を分析することでタスク完了率を向上させます。WebVoyagerはスクリーンショットと反省を組み合わせて未知のウェブサイトでの成功率を高め、ReAPはメモリを追加することでさらに改善します。AutoGUIとMobileUseもそれぞれのメカニズムを通じて能力を強化し、自己進化の包括的な特徴を示しています。
金融（Financial）の分野では、専門領域向けにエージェントをカスタマイズする上でのボトルネックは、領域知識ベースの効率的な構築と統合にありますが、自己進化メカニズムはこの問題を軽減することができます。QuantAgentは2層フレームワークを通じて応答を反復的に最適化し、知識ベースを強化することで取引パフォーマンスを向上させます。TradingAgentsは複数の動的なプロセス最適化戦略を統合します。
医療（Medical）の分野では、自己進化エージェントは臨床の複雑性に対応できます。これには、病院規模のシミュレーション、マルチエージェント協調、医療従事者-患者エージェント対話進化、強化学習補助診断・治療、アーキテクチャ探索最適化プロセス、および生物医学的発見が含まれます。
教育（Education）の分野では、自己進化エージェントは教育領域で広く応用されています。学習者レベルでは、PACEが学生の状況に応じてプロンプトと質問を調整し、MathVCが協調学習プロセスをシミュレートします。教師レベルでは、i-vipのマルチエージェントチームがリアルタイムで出力を最適化し、EduPlannerが対抗的循環を通じて教育計画を最適化し、SEFLがフィードバックモデルの微調整例を生成します。これらのエージェントは教師と生徒のニーズに動的に適応し、教育体験を向上させることができます。
上記の5つの主要領域以外にも、自己進化エージェントは、学術支援、ゲームタスク、外交戦略など、他の専門領域でも一定の優位性を示しており、継続学習などの特性により、それぞれの領域で幅広い適用性を示しています。
将来の方向性：個別化、汎用化、安全かつ制御可能
個別化エージェントの展開は重要な研究目標であり、チャットボットやデジタルツインなどの応用において、AIがユーザー固有の行動パターンや嗜好を正確に捉え、適応することが求められます。既存の手法はアノテーション付きデータと後処理学習に依存していますが、実際にはコールドスタート問題に直面します。これは、初期データが限られている場合に、個別化された理解をいかに完璧にし、ユーザーの意図を解釈し、ユーザープロファイルを構築するかという問題です。同時に、個別化された計画と実行においては、長期記憶管理、外部ツール統合の適合性、個別化生成の信頼性などに課題があり、既存の偏見を強化しないよう注意する必要があります。
評価面では、チームは従来のフレームワークをさらに打ち破り、より軽量で適応性の高い指標を開発し、柔軟で動的なベンチマークシステムを確立し、自己進化過程でロングテール個別化データを管理する際のエージェントのパフォーマンスを正確に評価する必要があります。
同時に、自己進化エージェントは、タスク領域と環境をまたがる頑健な汎用性においても課題を抱えており、専門性と広範な適応性の矛盾が、システムのスケーラビリティ、知識転移、協調知能に影響を与えます。スケーラブルなアーキテクチャ設計には、複雑性とシナリオの拡大に合わせてパフォーマンスを維持できるアーキテクチャを構築する必要がありますが、現在のシステムはトレードオフに直面することが多く、動的な推論計算コストの増加が汎用化能力を制限しています。
継続学習においては、破滅的忘却現象が課題を増幅させ、効率とモデルドリフトの防止とのバランスを取ることが依然として困難です。知識転移には欠陥があり、知識の汎用化と転移の条件を理解し、転移の限界を定量化し、頑健な世界モデルの構築を促進するメカニズムを確立して、協調効率を向上させる必要があります。
さらに、自律AIエージェントの能力が強化されるにつれて、より安全で制御可能なエージェントの展開が研究の重点となっています。現在のエージェントは、必要な機密情報と無関係な情報を正確に区別することが依然として困難であり、不適切な手段が関与する目標の場合、行動の管理はさらに困難になります。学習の不確実性、意味的な曖昧な状況、メモリモジュールの設計上の欠陥はすべて安全性の課題を悪化させます。
大規模で多様な実世界のシナリオデータを収集して安全な行動学習をサポートし、エージェントアーキテクチャのルールとケースライブラリを完成させ、より安全な訓練アルゴリズムを探索し、プライバシー保護対策がエージェントの効率に与える影響を調査することによってのみ、バランスの取れた安全な展開を実現できる可能性があります。
最後に、マルチエージェント自己進化システムが直面する課題は、個々の推論と集団的な推論のバランスを取ることを要求します。研究によると、集団的な議論は診断推論を向上させる可能性がありますが、エージェントはコンセンサスに過度に依存し、独立した推論能力を弱める傾向があります。
将来、研究チームは、個々の意見と集団的な意見の重みを調整する動的メカニズムをさらに深く探索し、少数の支配による意思決定を避け、明示的な知識ベースと標準化された更新メカニズムを確立し、協調における個々の推論の貢献を強化する必要があります。同時に、現在のマルチエージェント評価ベンチマークの多くは静的であり、役割の長期的な適応性と進化を捉えることは困難です。そのため、エージェントが自身の意思決定上の優位性を維持しながら効果的に協調できるように、効率的なアルゴリズムと適応的フレームワークを開発する必要があります。
研究チームは、自己進化エージェントの出現はAI分野のパラダイムシフトを意味し、静的な単一モデルから、継続的な学習と適応能力を備えた動的なインテリジェントシステムへと移行すると述べています。言語エージェントがオープンなインタラクティブ環境で広く応用されるにつれて、新しいタスク、知識、フィードバックに基づいてその推論プロセス、ツール、および行動を進化させ、適応させる能力が次世代のインテリジェントシステムを構築する鍵となります。
将来を展望すると、自己進化エージェントの可能性を最大限に引き出すことは、汎用人工超知能の構築にとって極めて重要であり、これにはモデル、データ、アルゴリズム、評価などの側面で大きなブレークスルーが必要です。破滅的忘却の解決、自律進化における人間の嗜好との整合の実現、およびエージェントと環境の協調進化などの問題は、適応性、信頼性、および人間の価値観に合致するエージェントを開発するための鍵となります。