新智元レポート
編集：定慧 好困
【新智元ガイド】マルチエージェントAIシステムにおいて、タスクが失敗した場合、開発者は「誰が、どこで間違ったのか」という謎に陥りがちです。PSU、デューク大学、Google DeepMindなどの機関が初めて「自動失敗帰属」を提案し、Who&Whenデータセットを公開、3つの帰属方法を模索し、この問題の複雑さと課題を明らかにしました。
あなたは「スーパーAIチーム」を構築しました。チームの各AIはそれぞれの役割を担います。情報を収集するもの、判断を担当するもの、そして実行を調整するもの、これらが協力して複雑なタスクを攻略します。
この願いは完璧に見えますが、結果として失敗に終わることがしばしばです。問題は、「問題」が発生したとき、どのAIが原因であるかをどうやって知るかということです。
コードのデバッグと同様に、山積するモデルの会話記録、呼び出しログ、中間結果から、どのAIがボトルネックになったのかを見つけるのはほぼ不可能です。しかも、AI自体が「ブラックボックス」です。
これが今日のマルチエージェントAIシステムが直面している現実的な課題です。頻繁に失敗するだけでなく、問題の原因を追跡するのが困難なのです。
この「AI版羅生門」を解決するために、ペンシルベニア州立大学とデューク大学がGoogle DeepMindなどの機関と共同で、初めて「自動失敗帰属」（Automated Failure Attribution）を提案しました。これは、AI自身に「私が間違えました！」と手を挙げさせるものです。
現在、この論文はトップカンファレンスICML 2025 Spotlightを成功裏に獲得しただけでなく、付属する初の専用ベンチマークデータセットWho&Whenおよび関連コードも全てオープンソース化されています。
論文アドレス：https://arxiv.org/pdf/2505.00212
コードアドレス：https://github.com/mingyin1/Agents_Failure_Attribution
モデルが製品であると言われますが、現在のOpenAI o3、Gemini 2.5 Pro、そして新しくリリースされたDeepSeek-R1-0528が強力になっているのに、なぜマルチエージェントAIシステムが必要なのでしょうか？
これは、現状では単一AIの能力がまだ限られており、LLM駆動のマルチエージェントシステムは多くの分野で大きな可能性を秘めているからです。
しかし、これらのシステムには脆弱性も存在します。単一エージェントのミス、エージェント間の誤解、そして情報伝達の誤りなど、これらすべてが全体のタスク失敗につながる可能性があります。
現在、マルチエージェントAIシステムが「失敗」した場合、開発者はしばしば次のようにしか対応できません。
手動での「考古学的発掘」：長大なインタラクションログを一つずつ丹念に調べ、問題の所在を突き止めようとする。
経験への依存：このデバッグプロセスは、開発者のシステムとタスクに対する深い理解に高度に依存します。
このような「大海から針を探す」ようなエラー特定方法は、効率が悪いだけでなく、システムの迅速なイテレーションと信頼性の向上を著しく阻害しています。
現在、失敗原因を特定するための自動的かつ体系的な方法が緊急に求められており、「評価結果」と「システム改善」を効果的に結びつける必要があります。
主要な貢献
上記の課題に対し、本論文は画期的な貢献をしました。
1. 新しい問題の提案と定義
「自動失敗帰属」を具体的な研究課題として初めて形式化し、失敗の原因となった責任エージェント（failure-responsible agent）と決定的なエラーステップ（decisive error step）を特定する必要性を明確にしました。
2. 初のデータセット「Who&When」の構築
このデータセットには、127のLLMマルチエージェントシステムから収集された広範な失敗ログが含まれています。これらのシステムは、アルゴリズムによって自動生成されたものと、人間エキスパートによって精巧に構築されたものの両方があり、シナリオの現実性と多様性を保証しています。
各失敗ログには、詳細な手動アノテーションが付随しています。
「誰」（Who）：どのエージェントが「犯人」であるか。
「いつ」（When）：決定的なエラーがインタラクションのどのステップで発生したか。
「なぜ」（Why）：失敗原因に対する自然言語による説明。
主要なエラーエージェントの特定と、エラーが発生した具体的なステップの特定は、一般の人々にとっても専門家にとっても困難な課題です。
アノテーターは複雑なログを解析し、各エージェントの問題解決ロジックを解明し、各アクションが正しいか、それとも問題解決プロセス全体を誤解させるものかを判断する必要があります。
例えば、あるエージェントが問題解決に必要な重要な情報をウェブブラウザを使って取得した場合、アノテーターはブラウザの履歴をチェックし、各ウェブサイトにアクセスして、失敗がウェブサイト自体に関連情報がなかったためか、それともエージェントが情報を正常に取得できなかったためかを判断しなければなりません。
上図（a）に示すように、3人のアノテーターはそれぞれ30.9時間、30.2時間、23.2時間を費やしてアノテーションを完了しました。これはアノテーションプロセスが非常に時間がかかることを示しており、それゆえに自動故障帰属の研究を開始することが検討されました。
さらに、多くのデータインスタンスでは、エラーの原因が単一のエージェントではなく、複数のエージェントにある場合もあります。人々はこれらのエラーを特定し、その中で最も深刻なエラーを選び出す必要があります。なぜなら、これらのエラーが直接問題解決の失敗につながるからです。エラーの深刻度は時には微妙であり、ある程度の主観性も伴うため、このプロセスはさらに困難になります。
上図（b）に示すように、3人のアノテーターの「不確実」なアノテーションの割合は15%から30%の範囲で示されています。
図（c）は、異なるアノテーターが互いに「不確実」なデータについて投票した際の意見の相違率を視覚化しています。
投票段階においても一定程度の意見の相違が見られ、アノテーション作業自体の複雑さと課題をさらに浮き彫りにしています。
3. 初期的な「自動帰属」方法の探求
Who&Whenデータセットに基づき、本論文では3つの異なる自動失敗帰属方法を設計・評価しました。一括解析法（All-at-Once）、段階的検出法（Step-by-Step）、二分探索法（Binary Search）です。
実験結果は、これら3つの方法が精度、コスト、分析粒度においてそれぞれ長所を持ち、すべての指標で完全に優位に立つものはないことを示しています。これらが共同で、自動失敗帰属タスクの初期的な「解決策ライブラリ」を構成しています。
・一括解析法（All-at-Once）：一回で完了
LLMにユーザーのクエリと完全な障害ログを提供し、一度に障害の原因となったエージェントと決定的なエラーが発生した具体的なステップを特定するよう求めます。
利点：一発で解決でき、コストが低い。マクロな責任判断に優れる可能性があります。
欠点：大量のデータから特定の問題を見つける「大海から針を探す」ような問題に直面し、長いコンテキストから具体的なエラーステップを正確に特定するのが難しい場合があります。
・段階的検出法（Step-by-Step）：段階的に
手動デバッグをシミュレートし、LLMに最初からインタラクションログをステップバイステップで確認させ、各段階でエラーが発生したかどうかを判断させ、最終的に「真犯人」を突き止めます。
利点：玉ねぎの皮をむくように細かく、具体的なエラー箇所を特定する上で優位性があります。
欠点：モデルへの問い合わせ回数が多くなり、呼び出しコストが高くなるほか、部分的な判断の累積誤差が「誤判断」につながる可能性があります。
・二分探索法（Binary Search）：二分探索
これは折衷的な戦略で、全体的なコストと効果は前二者の間に位置します。
ログを半分に分割し、エラーが前半で発生したのか後半で発生したのかをLLMに判断させ、特定された半分の中で繰り返し「二分」を行い、最終的に問題のステップと関連するエージェントを特定します。
実験結果と主要な発見
実験は2つの設定で行われました。LLMがマルチエージェントシステムが解決すべき問題の真の答えを知っている場合（With Ground Truth）と、真の答えを知らない場合（Without Ground Truth）です。
主にGPT-4oが使用されましたが、他のモデル（Llamaシリーズ、Qwenシリーズ、GPTシリーズ、OpenAI o1、DeepSeek R1など）もテストされました。
Who&Whenデータセットを用いて上記の方法を体系的に評価した結果、多くの重要な発見が得られました。
・道のりは長く、パフォーマンスは懸念される
現在の方法は完璧からはほど遠いです。最も性能が良い単一の方法でさえ、「責任エージェント」の特定精度は約53.5%に過ぎず、具体的な「エラーステップ」の特定精度に至ってはわずか14.2%です！
これは、最も優れた戦略でさえ「犯人」を半分程度しか正確に特定できず、どこで間違ったかについてはほとんど「勘」に頼るしかないことを意味します。
一部の方法はランダム推測よりも悪い結果を示しており、タスクの困難さを物語っています。
・それぞれに長所があり、「万能チャンピオン」は存在しない
異なる方法は異なるサブタスクで異なるパフォーマンスを示し、万能なチャンピオンはいません。
例えば、一括解析法（All-at-Once）は「Who」の判断において比較的優れており、どのエージェントが責任を負うべきかをより正確に特定できます。一方、段階的検出法（Step-by-Step）は具体的なエラーステップ（「When」）の特定においてより優位性があり、詳細なチェックが強みです。二分探索法（Binary Search）は全体的に中間的なパフォーマンスを示します。
これにより、各ソリューションのトレードオフが浮き彫りになります。全体をスキャンして「人」を見つけるのに優れるか、段階的に追跡して「ステップ」を見つけるのに適しているか、ということです。
・「合わせ技」はより効果的だが、コストが高い
研究者たちは異なる方法を組み合わせた戦略を試みました（例えば、「一括解析法」で責任エージェントをまず大まかに特定し、次に「段階的検出法」でエラーステップを正確に特定する）。
結果は、この混合方法が確かに全体的な帰属性能を向上させるものの、同時に計算コストも著しく増加することを示しました。
・既存のSOTAモデルが軒並み「沈黙」
最も驚くべきことに、現在最も先進的な推論モデル（OpenAI o1やDeepSeek R1など）でさえ、このタスクを処理するのに苦戦しました。
これは、「自動失敗帰属」タスク自体の固有の難しさをさらに浮き彫りにしており、そのAI推論能力への要求は、現在のSOTAモデルが通常のタスクで示すパフォーマンスを超えています。
明確な推論プロンプトが非常に重要です。一括解析法（All-at-Once）と段階的検出法（Step-by-Step）のプロンプトで、LLMに帰属の理由を明確に要求することで、パフォーマンスを向上させる効果があります。
コンテキストの長さは性能を制約します。実験では、失敗ログのコンテキストの長さが増加するにつれて、すべての帰属方法の性能が低下する傾向が見られ、特にエラーステップ特定精度においてより敏感でした。
より賢く、より信頼できるマルチエージェントシステムへ
「自動失敗帰属」は、マルチエージェントシステム開発プロセスにおいて不可欠な要素です。
それは、マルチエージェントシステムの失敗パターンをより深く洞察するのに役立ち、「どこで間違ったのか、誰の過ちか」という頭を悩ませる謎を、定量的に分析可能な問題へと転換させます。
「評価」と「改善」の橋渡しをすることで、将来的にはより信頼性が高く、より賢く、より信頼できるマルチエージェント協調システムを構築できるようになるでしょう。
著者紹介
Shaokun Zhang
ペンシルベニア州立大学の博士課程3年生。Qingyun Wu教授の指導を受けています。
最近の研究関心は、エージェントAIと強化学習の交差領域に集中しています。
現在、NVIDIAでLLMエージェントの研究に注力するインターンシップを行っています。それ以前は、西安電子科技大学でコンピュータ科学の学士号を取得しました。
Ming Yin
デューク大学の博士課程1年生。Yiran Chen教授の指導を受けています。
2024年に20歳で中国科学技術大学少年班学院を卒業し、学士号を取得しました。
現在、LLMエージェント、LLM推論、そして信頼できる人工知能に関心があります。
2025年5月から8月にかけて、シアトルにあるZoomで生成AI研究インターンを務めます。
参考文献：
https://arxiv.org/pdf/2505.00212
https://skzhang1.github.io/
https://mingyin1.github.io/