近年來，GPT 等大型語言模型在問答、搜尋、醫療等任務中大放異彩，但一個難纏的問題始終存在——幻覺（hallucination），即模型自信地輸出卻偏離事實。為緩解幻覺，學界提出了 RAG（Retrieval-Augmented Generation） 框架，透過引入外部資料來輔助生成，試圖減少「憑空捏造」。
但現實真如我們所願嗎？香港理工大學與四川大學研究團隊發現：RAG 本身也可能引入偏差，甚至造成「幻覺疊加」（Hallucination on Hallucination）。
為此，研究團隊提出了新框架——DRAG（Debate-Augmented RAG），透過引入多代理辯論機制，在「查找資料」和「撰寫答案」的每一個環節中層層把關，提升答案的真實性與可靠性。
論文標題：Removal of Hallucination on Hallucination: Debate-Augmented RAG
論文連結：https://arxiv.org/abs/2505.18581
程式碼連結：https://github.com/Huenao/Debate-Augmented-RAG
收錄會議：ACL 2025 Main
研究背景：RAG 中的幻覺疊加
為了解決生成式 AI 中的幻覺問題，RAG 框架透過「先查找資料再發言」的方式增強生成結果的事實性。但現實往往不盡理想：如果查到的資料本身就是錯誤的呢？
舉個例子：
問題「Guns N' Roses 的女鍵盤手是誰？」RAG 檢索到的是電影《Guns and Roses》的劇情，然後模型信心滿滿地回答：「Gu Xixi」。
這不是滅火，而是火上加油。
此外，即使資料查找無誤，模型也可能抓錯重點、曲解資訊甚至憑空編造內容。
本文將這種「幻覺疊加」現象，歸因於 RAG 系統在兩個階段的問題所致：
檢索階段：若檢索不充分或存在偏差，就會為後續生成埋下「認知陷阱」；
生成階段：模型仍可能因雜訊干擾或對上下文的誤解，輸出與事實不符的答案。
破局之道：讓模型「辯」起來
DRAG 的核心思想是借助多代理辯論機制（Multi-Agent Debate, MAD），在資訊檢索和答案生成階段都引入「正反方辯論 + 法官裁決」的機制，模擬一個「查找事實 + 互相質疑 + 集體評估」的 AI 辯論法庭，讓最終輸出更準確、更有理有據。
1. 階段1：檢索環節也能「據理力爭」
傳統 RAG 在檢索上是「一問一搜」的模式，模型根據問題發起一次查詢，然後就拿著這份資料去回答。但如果查詢關鍵字不夠精準，或者只檢索到了片面的內容，模型自然會「從錯誤的資訊中找答案」。
為此，DRAG 在檢索階段引入了「多代理辯論機制」，相當於讓多個代理一起開會「討論怎麼查找資料最可靠」。
具體來說，每輪檢索都由三類代理參與構成：
支持方（Proponent Agent）：主張「現在的檢索策略很好，不用改」；
反對方（Challenger Agent）：認為「查找得不夠準確」，並提出優化建議，如替換關鍵字、拓展查詢；
裁判方（Judge Agent）：比較雙方觀點，決定下一輪是否調整查詢策略。
2. 階段2: 生成環節進行「對線式推理」
即使有了好的資料，模型仍可能答非所問，尤其當資訊衝突或推理鏈較長時。
DRAG 引入的第二大機制是：讓 AI 在生成階段進行「對線式推理」。此外，為了避免模型不加懷疑地信任有偏差的檢索資訊，本文設計了資訊不對等機制，即使用兩個資訊來源不對等的代理進行互相「辯論」
支持方（Proponent Agent）：依賴檢索到的資料來回答；
反對方（Challenger Agent）：完全不看資料，僅靠自己的知識回答；
裁判方（Judge Agent）：綜合兩者的回答，從中挑選出事實更準確、邏輯更嚴謹的版本。
實驗表現：表現穩定，多跳更強
本文在六個 QA 資料集上對 DRAG 進行了全面評估，包括開放問答（TriviaQA、NQ、PopQA）、多跳問答（2WikiMultihopQA、HotpotQA）以及常識推理（StrategyQA）。
實驗結果如表 1 所示，DRAG 在多跳推理任務中取得了強勁的表現，在單跳任務中也同樣具有競爭力。
此外，本文對檢索辯論和生成辯論階段分別進行了更細緻的分析：
表 3 統計了 DRAG 在不同任務中的平均辯論輪數和查詢次數，表明 DRAG 可動態調整檢索策略以適應任務的複雜性。
表 4 探究了 DRAG 在檢索不到正確資料的情況下有無生成辯論的表現，表明生成辯論增強了對檢索缺陷的穩健性（魯棒性）。
表 5 是對 DRAG 中各個模組的消融實驗，表明 DRAG 兩大階段缺一不可，此外資訊不對稱設定對於防止代理過度依賴檢索到的內容並促進事實一致性具有重要作用。
以下是 DRAG 的實例分析，可以看到檢索辯論能有效排除錯誤的檢索目標，引導系統制定更準確的檢索策略。
結論與展望
DRAG 以「多代理辯論」的創新方式對 RAG 框架在檢索與生成兩個階段進行最佳化，有效緩解了幻覺疊加的問題。在多跳問答、開放領域問答等任務中均取得了領先表現，驗證了該方法的通用性與有效性。
但 DRAG 同樣也有一定的局限性，在簡單的單跳任務中，DRAG 可能因「過度辯論」引發問題漂移，因此未來可探索自適應停止策略，提升性價比。