近年、GPTなどの大規模言語モデルは、Q&A、検索、医療などのタスクで目覚ましい成果を上げていますが、依然として「幻覚（hallucination）」という持病が存在します。これは、モデルが自信を持って出力する情報が事実と異なる現象です。幻覚を軽減するため、学界ではRAG（Retrieval-Augmented Generation）フレームワークが提案され、外部資料を導入して生成を補助することで、「でたらめな情報作成」を減らそうと試みてきました。
しかし、現実は私たちが望む通りでしょうか？ 香港理工大学と四川大学の研究チームは、RAG自体がバイアスを導入する可能性があり、「幻覚の重層化（Hallucination on Hallucination）」を引き起こすことさえあることを発見しました。
この問題に対処するため、チームは新しいフレームワークDRAG（Debate-Augmented RAG）を提案しました。これは、マルチエージェント討論メカニズムを導入することで、「資料の検索」と「回答の作成」の各段階で厳しくチェックし、回答の真実性と信頼性を向上させます。
論文タイトル：Removal of Hallucination on Hallucination: Debate-Augmented RAG
論文リンク：https://arxiv.org/abs/2505.18581
コードリンク：https://github.com/Huenao/Debate-Augmented-RAG
採択会議：ACL 2025 Main
研究背景：RAGにおける幻覚の重層化
生成AIにおける幻覚の問題を解決するため、RAGフレームワークは「まず資料を調べてから話す」方式で生成結果の事実性を強化しています。しかし、現実は厳しいものです。もし参照した資料自体が間違っていたらどうでしょうか？
例を挙げると：
質問：「ガンズ・アンド・ローゼズの女性キーボーディストは誰ですか？」RAGは映画『Guns and Roses』のプロットを検索し、モデルは自信満々に「グー・シシ」と回答しました。
これは火を消すどころか、油を注ぐようなものです。
さらに、資料が正しく検索されたとしても、モデルは焦点を間違えたり、情報を誤解したり、内容を捏造することさえあります。
本稿では、この「幻覚の重層化」現象を、RAGシステムの2つの段階における問題が原因であると結論付けています：
検索段階：検索が不十分またはバイアスがかかっている場合、その後の生成に「認知的罠」が仕掛けられます。
生成段階：モデルはノイズ干渉や文脈の誤解により、事実と異なる回答を出力する可能性があります。
打開策：モデルに「議論」させる
DRAGの核となる思想は、マルチエージェント討論メカニズム（Multi-Agent Debate, MAD）を活用することです。これにより、情報検索と回答生成の両段階で「賛成側と反対側の討論＋裁判官による裁定」のメカニズムを導入し、「事実の発見＋相互の疑義＋集団的評価」を行うAI討論法廷をシミュレートすることで、最終的な出力の正確性と信頼性を向上させます。
1. 第1段階：検索段階でも「理を尽くして争う」
従来のRAGは検索において「一問一検索」のモードを採用しており、モデルは質問に基づいて一度検索を行い、その資料を基に回答します。しかし、検索キーワードが十分に正確でなかったり、断片的な内容しか検索されなかったりする場合、モデルは当然「間違った情報から答えを探す」ことになります。
このため、DRAGは検索段階で「マルチエージェント討論メカニズム」を導入しました。これは、複数のエージェントが一緒に会議を開き、「どうすれば最も信頼性の高い資料を検索できるか」を議論するようなものです。
具体的には、各検索ラウンドは以下の3種類のエージェントによって構成されます：
賛成エージェント（Proponent Agent）：現在の検索戦略は問題なく、変更は不要であると主張します。
挑戦エージェント（Challenger Agent）：検索が不十分であると考え、キーワードの変更やクエリの拡張など、最適化の提案を行います。
裁定エージェント（Judge Agent）：双方の意見を比較し、次ラウンドで検索戦略を調整するかどうかを決定します。
2. 第2段階：生成段階での「対話型推論」
たとえ良い資料があっても、モデルは質問に適切に答えない可能性があります。特に情報が矛盾していたり、推論チェーンが長かったりする場合に顕著です。
DRAGが導入する第二の主要なメカニズムは、AIに生成段階で「対話型推論」を行わせることです。さらに、モデルが偏った検索情報を無批判に信頼することを避けるため、本論文では情報非対称性メカニズムを設計しました。これは、情報源が異なる2つのエージェントが互いに「討論」を行うものです。
賛成エージェント（Proponent Agent）：検索された資料に依存して回答します。
挑戦エージェント（Challenger Agent）：資料を一切参照せず、自身の知識のみに基づいて回答します。
裁定エージェント（Judge Agent）：両者の回答を総合し、事実がより正確で論理的に厳密なバージョンを選び出します。
実験結果：安定した性能、マルチホップでより強力
本論文では、DRAGを6つのQAデータセットで包括的に評価しました。これには、オープン質問応答（TriviaQA、NQ、PopQA）、マルチホップ質問応答（2WikiMultihopQA、HotpotQA）、および常識推論（StrategyQA）が含まれます。
表1に示す実験結果のように、DRAGはマルチホップ推論タスクで強力な性能を発揮し、シングルホップタスクでも同等の競争力を持っています。
さらに、本論文では検索討論と生成討論の段階について、より詳細な分析を行いました。
表3は、DRAGの異なるタスクにおける平均討論回数とクエリ数をまとめたもので、DRAGがタスクの複雑性に合わせて検索戦略を動的に調整できることを示しています。
表4は、DRAGが正しい資料を検索できなかった場合の生成討論の有無による性能を調査したもので、生成討論が検索の欠陥に対する頑健性を高めることを示しています。
表5はDRAGの各モジュールに対するアブレーション実験の結果であり、DRAGの2つの主要な段階が不可欠であることを示しています。さらに、情報非対称性の設定は、エージェントが検索された内容に過度に依存するのを防ぎ、事実の一貫性を促進する上で重要な役割を果たします。
以下はDRAGのインスタンス分析です。検索討論が誤った検索目標を効果的に排除し、システムがより正確な検索戦略を策定するのを導いていることがわかります。
結論と展望
DRAGは、「マルチエージェント討論」という革新的な方法でRAGフレームワークを検索と生成の2つの段階で最適化し、幻覚の重層化の問題を効果的に軽減しました。マルチホップ質問応答やオープン領域質問応答などのタスクで優れた性能を達成し、本手法の汎用性と有効性を検証しました。
しかし、DRAGにも一定の限界があります。単純なシングルホップタスクでは、「過度な討論」によって問題が逸脱する可能性があり、そのため将来的に適応的な停止戦略を検討し、費用対効果を向上させる必要があります。