何でもできて、人間を必要とせず、完全に自律的に行動するAIエージェントの構築は、現在の大規模モデル業界で注目されている研究方向です。
主流の意見では、より高い自律性がより良いシステムを意味するとされています。人間の介入を減らすこと自体に内在的な価値があり、完全な独立性が最終目標とされるべきだと考えられています。
しかし、華人学者であるPhilip S. Yu（イリノイ大学シカゴ校の傑出教授、ACMフェロー、IEEEフェロー）と李東遠（東京大学助教）のチームは、異なる見解を持っています。
彼らは、進歩の評価基準を「自律知能」から「協調知能」へと転換すべきだと主張しています。これは、人間とAIの協調を核としたLLM-HAS（LLMベースの人間-エージェントシステム）を開発することです。
このパラダイムの下では、AIは単独で動作する「オペレーター」ではなく、人間の積極的な協力パートナーとなります。人間の能力を強化しながら、重要な人間の判断と監督責任を保持します。
関連研究論文は「A Call for Collaborative Intelligence: Why Human-Agent Systems Should Precede AI Autonomy」と題され、プレプリントサイトarXivに公開されています。
論文リンク：
https://arxiv.org/pdf/2506.09420
彼らの見解では、AIの進歩はシステムの独立性の度合いで測られるべきではなく、人間との協調の有効性で評価されるべきです。AIの最も期待される未来は、人間の役割を置き換えるシステムではなく、有意義な協力によって人間の能力を高めるシステムにあります。
彼らは、業界と学術界に対し、現在の完全自律エージェントの追求から、人間とAIの協調を核とするLLM-HASへと根本的に転換するよう呼びかけています。
なぜ完全自律型エージェントは「うまくいかない」のか？
LLMベースの自律型エージェントは、開放的で現実世界環境において独立して動作できるシステムであり、「知覚-推論-行動」のサイクルを通じてタスクを完了し、人間の介入を必要としません。
Human-in-the-loopシステムとは異なり、LLMベースの自律型エージェントは、目標を独立して解析し、行動を計画し、ツールを呼び出し、言語ベースの推論と記憶を通じて適応することができます。
例えば、ソフトウェア工学の分野では、GitHub Copilotがコードを自律的に生成、テスト、リファクタリングでき、開発者の介入をほとんど必要とせず、通常の開発プロセスを加速しています。顧客サポートの分野では、AutoGLM、Manus、Gensparkなどのシステムが、人間の介入なしに、複雑な旅程計画、自動予約、サービス問題の解決を完了でき、動的な環境で優れた知覚-行動ループ能力を発揮します。
しかし、現在のLLMベースの自律型エージェントの現実世界での導入は、以下の3つの課題に直面しています。
1. 信頼性、信用、安全性の欠如
LLMは、信頼できるように見えるが実際には虚偽の「幻覚」コンテンツを生成しやすいです。幻覚問題の普遍的な存在は、完全自律システムに対する人々の信頼を直接的に損なっています。システムが正確な情報を継続的かつ信頼性高く提供できない場合、医療診断、金融決定、重要なインフラ制御などの高リスクシナリオでは極めて危険です。
2. 複雑で曖昧なタスクを処理する能力の不足
これらのエージェントは、深い推論を必要とするタスク、特に目標自体が曖昧な場合に性能が劣ります。人間の指示はしばしば不明確であり、常識的背景の欠如したLLMはタスクを誤解し、結果として誤った行動を取る可能性があります。したがって、科学研究のような、目標が開放的で動的に調整される複雑な領域では、これらは信頼できません。
3. 法規制と法的責任の問題
これらのシステムは「行動能力」を備えているものの、既存の法体系の下では、正式な法的責任主体としての資格を持っていません。これにより、責任と透明性の間に大きなギャップが生じます。システムが損害を引き起こしたり、誤った決定を下したりした場合、誰が責任を負うべきか（開発者、導入者、それともアルゴリズム自体か）を明確にするのは困難です。エージェントの能力が向上するにつれて、この「能力」と「責任」の間の法的ギャップは一層深刻化するだけです。
LLM-HAS：人間とAIの協調を核として
LLMベースの完全自律型エージェントとは異なり、LLM-HASは、人間とLLM駆動型エージェントが協調してタスクを共同で完了する協調フレームワークです。
LLM-HASは、運用中に常に人間の参加を維持し、重要な情報と説明を提供し、出力結果を評価し、調整を指導することでフィードバックを提供し、高リスクまたは機密性の高いシナリオでは制御を引き継ぎます。この人間の参加は、LLM-HASの性能、信頼性、安全性、および明確な責任帰属の向上を保証し、特に人間の判断が不可欠な領域で重要です。
LLM-HASを推進する根本的な動機は、自律型エージェントシステムが直面する主要な限界とリスクを解決する可能性を秘めていることにあります。
1. 信頼性と信用の向上
LLM-HASのインタラクティブな特性により、人間はリアルタイムでフィードバックを提供し、潜在的な幻覚出力を修正し、情報を検証し、エージェントがより正確で信頼性の高い結果を生成するように導くことができます。この協調的な検証メカニズムは、特に高いエラーコストを伴うシナリオにおいて、信頼を構築するために不可欠です。
2. 複雑性と曖昧性のより良い処理
曖昧な指示に直面すると方向を見失いがちな自律型エージェントと比較して、LLM-HASは人間の継続的な明確化能力を借りて優れた性能を発揮します。人間は重要なコンテキスト、ドメイン知識を提供し、目標を段階的に具体化することができます。これは複雑なタスクを処理するために不可欠な能力です。目標が不明確な場合、システムは誤った仮定の下で操作を続行するのではなく、明確化を要求できます。これは特に、目標が動的に進化するオープンエンドの研究や創造的な作業に適しています。
3. より明確な責任帰属
人間が意思決定プロセス、特に監督や介入の段階に継続的に関与するため、明確な責任範囲を確立しやすくなります。このモデルでは、通常、特定の人間のオペレーターまたは監督者が責任主体として明確に指定でき、これにより、法規制上での説明可能性がはるかに高まります。これは、完全自律システムがエラーを起こした後に責任を追及するよりもはるかに明確です。
研究チームは、LLM-HASの反復的なコミュニケーションメカニズムが、エージェントの行動を人間の意図によりよく合わせるのに役立ち、従来のルールベースまたはエンドツーエンドシステムよりも柔軟で透明性が高く、効率的な協調を実現すると述べています。これにより、人間からの入力、状況推論、リアルタイムの相互作用に高度に依存する、具現化AI、自動運転、ソフトウェア開発、対話システム、さらにはゲーム、金融、医療など、幅広いシナリオに適用可能となります。
上記の分野において、LLM-HASは人間とAIの相互作用を、フィードバックによって形成され、適応的推論によって駆動される言語ベースの協調プロセスとして再定義します。
5つの主要な課題と潜在的な解決策
1. 初期設定：依然としてエージェント自体に焦点
LLM-HASに関する現在のほとんどの研究は、エージェント中心の視点を採用しており、人間は主にエージェントの出力を評価し、修正フィードバックを提供します。この一方的な相互作用が既存のパラダイムを支配しており、この動的な関係を再構築する大きな可能性があります。
エージェントが人間のパフォーマンスを積極的に監視し、非効率な部分を特定し、タイムリーに提案を提供できるようにすることは、エージェントの知能を効果的に活用し、人間の作業負荷を軽減することにつながります。エージェントが指導的役割に移行し、代替戦略を提案し、潜在的なリスクを指摘し、リアルタイムでベストプラクティスを強化するとき、人間とエージェントの両方のパフォーマンスが向上します。研究チームは、より人間中心またはバランスの取れたLLM-HAS設計への移行が、真の人間-エージェント協調を実現するための鍵であると考えています。
2. 人間データ：人間のフィードバックの多様性
LLM-HASにおける人間のフィードバックは、役割、タイミング、表現方法において大きく異なります。人間は主観的であり、性格などの要因に影響されるため、同じシステムでも異なる人々の手にかかると全く異なる結果を生み出す可能性があります。
また、多くの実験ではLLMを使用して「疑似人間」フィードバックをシミュレートしています。このようなシミュレートされたデータは、人間の行動の多様性を真に反映できないことが多く、その結果、性能の歪みが生じ、比較の有効性が損なわれます。
高品質な人間データの取得、処理、利用は、適切に調整され、効率的な協調が可能なLLM-HASを構築するための基盤です。人間が生成したデータは、エージェントがより微妙な理解を得るのに役立ち、その協調能力を向上させ、その行動が人間の好みや価値観に合致することを保証します。
3. モデル工学：適応性と継続学習能力の欠如
LLM-HASの開発において、真に「適応性があり、継続的に学習する」AI協力者を構築することは依然として核心的な課題です。
現在の主流の方法では、LLMを静的な事前学習ツールとして扱っており、「人間の洞察を効果的に吸収できない」、「継続学習と知識保持能力が不足している」、「リアルタイム最適化メカニズムが不足している」といった問題が生じています。
LLM-HASの可能性を最大限に引き出すには、「人間フィードバックの融合、生涯学習メカニズム、動的最適化戦略」を統合する方法を通じて、上記のボトルネックを克服する必要があります。
4. 展開後：未解決のセキュリティ脆弱性
展開後のLLM-HASは、依然としてセキュリティ、堅牢性、責任帰属の面で課題に直面しています。現在、業界は性能指標に焦点を当てがちですが、人間とコンピュータの相互作用における信頼性、プライバシー、セキュリティなどの問題は十分に研究されていません。信頼できる人間とAIの協調を確保するには、継続的な監視、厳格な監督、そして責任あるAI実践の統合が必要です。
5. 評価：不十分な評価方法
現在のLLM-HASの評価システムには根本的な欠陥があります。これらは通常、エージェントの精度と静的なテストに重点を置き、人間協力者が負う実際の負担を完全に無視していることが多いです。
したがって、新たな評価システムが緊急に必要です。このシステムは、（1）タスクの効果と効率、（2）人間とコンピュータの相互作用の質、（3）信頼、透明性、説明可能性、（4）倫理的整合性と安全性、（5）ユーザーエクスペリエンスと認知負荷という多角的な視点から、人間とエージェントの協調における「貢献」と「コスト」を総合的に定量化し、それによって真に効率的、信頼性があり、責任ある人間-エージェント協調を実現する必要があります。
詳細については、論文をご参照ください。
編集：学術君
転載や寄稿をご希望の場合は、公式アカウントに直接メッセージを残してください。