マルチエージェントシステム(MAS: multi-agent systems)において、効果的なプロンプトとトポロジーの設計は、個々のエージェントがプロンプトに敏感であり、手動でのトポロジー設計には多大な実験が必要となるため、課題に直面しています。
設計プロセス全体を自動化するため、Googleとケンブリッジ大学は、効果的なMASを構築する要因を理解することを目的として、まず設計空間の綿密な分析を行いました。その結果、プロンプト設計が下流のパフォーマンスに顕著な影響を与える一方で、効果的なトポロジーは探索空間全体のわずかな部分しか占めていないことが判明しました。
数学的問題において、Gemini 1.5 Pro は、自己整合性(SC)、自己改善(reflect)、マルチエージェント議論(debate)のみを使用して拡張されたエージェントと比較して、問題ごとのプロンプト最適化エージェントの精度と総トークン数の関係を示しています。誤差棒は1標準偏差を表します。より効果的なプロンプトを通じて、より多くの計算リソースを利用することで、より高い精度が得られることを示しました。
Gemini 1.5 Pro を使用した異なるトポロジーの性能をベースラインエージェントと比較しました。各トポロジーは APO を介して最適化され、「Sum.」(要約)と「Exe.」(実行)は図4に示すタスク固有のトポロジーです。すべてのトポロジーがマルチエージェントシステム(MAS)設計に良い影響を与えるわけではないことが観察されました。
これらの発見に基づき、Googleとケンブリッジ大学は、3つの段階でMASを最適化するMassフレームワークを提案しました。
ブロックレベル(局所的)プロンプト最適化:各トポロジーブロック内のエージェントのプロンプトを最適化します。
ワークフロートポロジー最適化:剪定されたトポロジー空間でワークフロートポロジーを最適化します。
ワークフローレベル(グローバル)プロンプト最適化:見つかった最適なトポロジーでグローバルプロンプト最適化を実行します。
提案されたマルチエージェントシステム探索(Mass)フレームワークは、カスタマイズ可能なマルチエージェント設計空間でプロンプト最適化とトポロジー最適化を交互に行うことで、効果的なマルチエージェントシステム設計(右側は最適化されたトポロジーと最適化されたプロンプト)を発見し、主要なコンポーネントは左側に示されています。
実験ではGemini 1.5 ProとFlashモデルを使用し、思考の連鎖(CoT)、自己整合性(SC)、自己改善(Self-Refine)、マルチエージェント議論(Multi-Agent Debate)、ADAS、AFlowなど、既存のさまざまな手法と比較しました。
性能向上:Massは複数のタスクで既存手法を大幅に上回り、平均で10%以上の性能向上を達成しました。
最適化段階の重要性:段階的な最適化を通じて、Massは各段階で性能向上を達成し、局所からグローバルな最適化の必要性を示しました。
プロンプトとトポロジーの協調最適化:Massはプロンプトとトポロジーを同時に最適化することで、単独での最適化よりも優れた性能を達成しました。
費用対効果:Massは最適化プロセス中に安定かつ効果的な性能向上を示し、既存の自動設計手法と比較して、より高いサンプル効率と費用対効果を提供します。