Google 研究發現:多代理人系統的核心在於提示詞設計!

在多代理人系統(MAS:multi-agent systems)中,設計有效的提示與拓撲結構面臨挑戰,因為單一代理人可能對提示敏感,且手動設計拓撲結構需要大量實驗。

圖片

為自動化整個設計流程,Google 與劍橋大學首先對設計空間進行了深入分析,旨在瞭解建構有效多代理人系統的因素。研究發現:提示詞設計對下游效能有顯著影響,而有效的拓撲結構僅佔整個搜尋空間的一小部分。

在數學問題上,Gemini 1.5 Pro 對比僅使用自我一致性(SC)、自我精煉(reflect)和多代理人辯論(debate)進行擴展的代理人,展示了每個問題的提示詞最佳化代理人的準確率與總標記數的關係。誤差條表示 1 個標準差。我們證明,透過更有效的提示詞,利用更多的計算資源可以獲得更高的準確率。

圖片

使用 Gemini 1.5 Pro 的不同拓撲結構的效能與基礎代理人相比,每個拓撲結構都透過 APO 進行了最佳化,其中「Sum.」(總結)和「Exe.」(執行器)是如圖 4 所示的任務特定拓撲結構。我們觀察到,並非所有拓撲結構都對多代理人系統(MAS)設計有積極影響。

圖片

基於這些發現,Google 與劍橋大學提出了 Mass 框架,該框架透過三個階段最佳化多代理人系統:

塊級(局部)提示詞最佳化:對每個拓撲塊中的代理人進行提示詞最佳化。

工作流程拓撲最佳化:在修剪過的拓撲空間中最佳化工作流程拓撲結構。

工作流程級(全域)提示詞最佳化:在找到的最佳拓撲結構上進行全域提示詞最佳化。

圖片圖片

提出的多代理人系統搜尋(Mass)框架透過在可客製化的多代理人設計空間中交錯進行提示詞最佳化和拓撲最佳化,發現了有效的多代理人系統設計(右側為經過最佳化的拓撲結構和最佳化的提示詞),關鍵組件如左側所示。

圖片

實驗使用了 Gemini 1.5 Pro 和 Flash 模型,並與多種現有方法進行了比較,包括鏈式思考(CoT)、自我一致性(SC)、自我精煉(Self-Refine)、多代理人辯論(Multi-Agent Debate)、ADAS 和 AFlow。

圖片

效能提升:Mass 在多個任務上顯著優於現有方法,平均效能提升約 10% 以上。

最佳化階段的重要性:透過分階段最佳化,Mass 在每個階段都取得了效能提升,證明了從局部到全域最佳化的必要性。

提示詞和拓撲結構的協同最佳化:Mass 透過同時最佳化提示詞和拓撲結構,實現了比單獨最佳化更好的效能。

成本效益:Mass 在最佳化過程中表現出穩定且有效的效能提升,與現有自動設計方法相比,具有更高的樣本效率和成本效益。

圖片圖片

主標籤:人工智慧研究

次標籤:提示工程機器學習多代理人系統拓撲最佳化


上一篇:晴天霹靂!蘋果最新研究證實:DeepSeek、o3、Claude 等「推論」模型根本不具推論能力

下一篇:35%準確率蒸發!字節跳動與華中科技大學WildDoc揭示多模態文件理解的強韌性短板

分享短網址