マイクロソフトは、「AIエージェントシステム故障モード分類」ホワイトペーパーを公開し、開発者とユーザーが日常のエージェントに発生する様々な故障をよりよく理解し、解決できるよう支援します。
これらの故障は主に「新型故障」と「既存故障」の2つのカテゴリに分けられ、それぞれの発生原因と解決方法が詳細に解説されています。
内容が多岐にわたるため、「AIGCオープンコミュニティ」では、典型的な悪意のあるAIエージェント攻撃の手法と原理についてご紹介します。
新型Agentセキュリティ故障
エージェントのなりすまし
攻撃者は、新たな悪意のあるAIエージェントを導入し、それをシステム内の既存の正規エージェントになりすませ、他のエージェントに受け入れさせます。例えば、攻撃者は既存の「セキュアエージェント」と同じ名前の悪意のあるエージェントをシステムに追加するかもしれません。ワークフローが「セキュアエージェント」を指している場合でも、実際には正規のエージェントではなく、悪意のあるエージェントに転送されてしまいます。
このなりすましにより、機密データが攻撃者に漏洩したり、エージェントのワークフローが悪意を持って操作されたりする可能性があり、システムの全体的なセキュリティと信頼性に重大な脅威をもたらします。
エージェントの設定汚染
エージェントの設定汚染とは、攻撃者が新規エージェントの展開方法を操作し、展開されたばかりのエージェントに悪意のある要素を組み込んだり、あるいは専用の悪意のあるエージェントを直接展開したりすることです。この故障モードの影響はエージェントの侵害と同じであり、新規エージェントの展開が許可されているマルチエージェントシステムで発生する可能性があります。
例えば、攻撃者は新規エージェントの展開プロセスへのアクセス権を取得し、新規エージェントのシステムプロンプトにテキストを挿入する可能性があります。このテキストはシステムにバックドアを設定し、元のユーザープロンプトに特定のパターンが含まれている場合に、特定の操作がトリガーされるようにするかもしれません。
この設定汚染はシステム内に長期にわたって存在し、エージェントの初期展開段階で組み込まれているため、発見が困難な場合があります。
エージェントの侵害
エージェントの侵害は、攻撃者が何らかの方法で既存のエージェントを制御し、攻撃者によって制御される新しい命令を注入したり、元のエージェントモデルを悪意のあるモデルに直接置き換えたりする、深刻なセキュリティ故障モードです。
この侵害は、システムの本来のセキュリティ制限を破り、悪意のある要素を導入する可能性があります。その潜在的な影響は非常に広範囲に及び、システムのアーキテクチャとコンテキストによって異なります。例えば、攻撃者はエージェントのプロセスを操作し、関数呼び出しや、本来セキュリティ制御として設計された他のエージェントとのやり取りなど、重要なセキュリティ制御を回避する可能性があります。
攻撃者はまた、エージェント間で転送される重要なデータを傍受し、それを改ざんしたり盗んだりして、自分に有利な情報を取得する可能性があります。さらに、攻撃者はエージェント間の通信フローを操作してシステムの出力結果を変更したり、エージェントの意図された操作を直接操作して、まったく異なる操作を実行させたりする可能性もあります。
この故障モードによって引き起こされる可能性のある結果には、エージェントの誤動作、エージェントの行動の悪用、ユーザーへの損害、ユーザー信頼の侵害、誤った意思決定、さらにはエージェントのサービス拒否などが含まれます。
エージェントの注入
エージェントの侵害と同様に、エージェントの注入も悪意のある行為ですが、その焦点は、攻撃者が既存のマルチエージェントシステムに全く新しい悪意のあるエージェントを導入することです。これらの悪意のあるエージェントの目的は、悪意のある操作を実行したり、システム全体に破壊的な影響を与えたりすることです。
この故障モードの潜在的な影響はエージェントの侵害と同じですが、ユーザーがエージェントに直接的かつ広範にアクセスでき、システムに新しいエージェントを追加できるマルチエージェントシステムで発生する可能性がより高いです。
例えば、攻撃者はシステムの脆弱性を悪用して、ユーザーが特定の質問をした際に、アクセスすべきではないデータを提供するように設計された悪意のあるエージェントをシステムに追加する可能性があります。あるいは、攻撃者は合意に基づく意思決定を行うマルチエージェントシステムに大量の悪意のあるエージェントを追加し、意思決定プロセスにおいて同じオプションに投票するように設計することで、数的な優位性を通じてシステム全体の意思決定結果を操作する可能性があります。
エージェントのフロー操作
エージェントのフロー操作は、より複雑な攻撃方法であり、攻撃者がAIエージェントシステムの一部分を改ざんすることで、エージェントシステム全体のフローを破壊します。
この操作は、綿密に設計されたプロンプト、エージェントフレームワークの侵害、またはネットワークレベルでの操作など、システムの複数の層で発生する可能性があります。攻撃者はこの方法を利用して、特定のセキュリティ制御を回避したり、システム内の操作の順序を回避、追加、または変更することで、システムの最終結果を操作したりする可能性があります。
例えば、攻撃者は、エージェントが処理されたときに、その出力に「STOP」のような特定のキーワードを含ませるように設計された特別なプロンプトを作成するかもしれません。このキーワードは、エージェントフレームワーク内で終了信号として認識され、エージェントのフローが早期に終了し、システムの結果が変更される可能性があります。
マルチエージェントの脱獄
マルチエージェントの脱獄は、マルチエージェントシステム内の複数のエージェント間の相互作用を利用して、特定の脱獄パターンを生成する特殊な攻撃モードです。このパターンは、システムが予期されたセキュリティ制限に従わなくなり、エージェントの侵害を引き起こすと同時に、脱獄検出を回避する可能性があります。
例えば、攻撃者はエージェントのアーキテクチャをリバースエンジニアリングし、最後から2番目のエージェントが完全な脱獄テキストを出力するように設計されたプロンプトを生成する可能性があります。このテキストが最終エージェントに渡されると、エージェントが完全に制御され、攻撃者がシステムのセキュリティ制限を回避して悪意のある操作を実行できるようになります。
既存Agentセキュリティ故障
エージェントに内在するセキュリティ問題
マルチエージェントシステムでは、エージェント間の通信にセキュリティリスクが含まれる可能性があります。これらのリスクはシステムの出力としてユーザーに露呈したり、透明性ログに記録されたりする可能性があります。例えば、エージェントがその出力に、適切にフィルタリングされていない有害な言語やコンテンツを含む場合があります。
ユーザーがこれらのコンテンツを閲覧すると、損害を受け、ユーザーの信頼が損なわれる可能性があります。この故障モードは、マルチエージェントシステムにおいて、出力コンテンツのセキュリティとコンプライアンスを確保するために、エージェント間の相互作用を厳密に管理および監視する必要があることを強調しています。
複数ユーザーシナリオにおける配分上の危害
複数のユーザーやグループの優先順位のバランスを取る必要があるシナリオでは、エージェントシステム設計の不備により、特定のユーザーやグループが異なる優先順位で扱われる可能性があります。
例えば、複数のユーザーのスケジュールを管理するために設計されたエージェントが、明確な優先順位設定パラメータが不足しているため、デフォルトで特定のユーザーを優先し、他のユーザーのニーズを無視してしまう可能性があります。この偏りはサービス品質の差異を引き起こし、一部のユーザーに損害を与える可能性があります。
この故障モードの潜在的な影響には、ユーザーへの損害、ユーザー信頼の侵害、および誤った意思決定が含まれます。この状況を回避するためには、システム設計者は設計段階で優先順位パラメータを明確に設定し、システムがすべてのユーザーのリクエストを公平に処理できるようにする必要があります。
優先順位によるユーザーセキュリティ問題
エージェントに高度な自律性が与えられた場合、システムに強力なセキュリティ制限が与えられていない限り、その設定目標を優先し、ユーザーやシステムのセキュリティを無視する可能性があります。例えば、データベースシステムを管理し、新しいエントリがタイムリーに追加されることを保証するエージェントの場合。
システムがストレージスペースが不足していることを検出した場合、既存のデータを保持するのではなく、新しいエントリを追加することを優先する可能性があります。この場合、システムは新しいエントリのためにスペースを確保するために、既存のすべてのデータを削除する可能性があり、ユーザーデータの損失や潜在的なセキュリティ問題につながります。
別の例としては、実験環境で実験操作を行うエージェントがあります。もしその目標が有害な化合物を生成することであり、ラボに人間ユーザーが存在する場合、システムは人間ユーザーの安全を無視して実験の完了を優先する可能性があり、その結果、ユーザーが損害を受ける可能性があります。この故障モードは、エージェントを設計する際に、システムがその目標とユーザーの安全との間のバランスを確保する必要があることを強調しています。
透明性と説明責任の不足
エージェントが行動を実行したり、決定を下したりする際には、通常、明確な説明責任追跡メカニズムが必要です。システムのログ記録が不十分で、エージェントの決定プロセスを追跡するのに十分な情報が提供されない場合、問題が発生した際に責任の所在を特定することが困難になります。
この故障モードは、ユーザーが不公平な扱いを受ける原因となり、エージェントシステムの所有者にも法的リスクをもたらす可能性があります。例えば、組織が年間の報酬配分を決定するためにエージェントを使用している場合。従業員が配分結果に不満を持ち、偏見や差別を主張して訴訟を起こした場合、組織はシステムの決定プロセスの記録を提供する必要があるかもしれません。もしシステムがこれらの情報を記録していない場合、法的手続きにおいてこれらの主張を裏付けたり反論したりする十分な証拠を提供することはできません。
組織的知識の喪失
組織がエージェントに多くの権限を委譲すると、知識や関係の崩壊につながる可能性があります。例えば、組織が財務記録の保持や会議管理などの重要な業務プロセスをAIエージェントシステムに完全に任せ、十分な知識のバックアップや緊急時計画を保持していない場合、システムが故障したりアクセス不能になったりすると、組織はこれらの重要な機能を復旧できなくなる可能性があります。
この故障モードは、長期的な運用における組織能力の低下、および技術的な故障やベンダーの倒産などの状況におけるレジリエンスの低下につながる可能性があります。さらに、この故障モードに対する懸念は、組織が特定のベンダーに過度に依存し、ベンダーロックインに陥る原因となる可能性もあります。
対象知識ベースの汚染
エージェントがその役割やコンテキストに特化した知識源にアクセスできる場合、攻撃者はこれらの知識ベースに悪意のあるデータを注入して汚染する機会を得ます。これは、より標的型に特化したモデル汚染の脆弱性です。
例えば、従業員の業績評価を支援するために使用されるエージェントは、従業員が年間を通して受け取った同僚からのフィードバックを含む知識ベースにアクセスする可能性があります。この知識ベースのアクセス許可設定が不適切である場合、従業員は自分に有利なフィードバックエントリを追加したり、脱獄命令を注入したりする可能性があります。これにより、エージェントが従業員の業績評価結果を実際よりも肯定的に評価する可能性があります。
クロスドメインプロンプトインジェクション
エージェントは命令とデータを区別できないため、エージェントが取り込むデータソースに命令が含まれている場合、そのソースに関わらずエージェントによって実行される可能性があります。これは、攻撃者が悪意のある命令をエージェントに挿入する間接的な方法を提供します。
例えば、攻撃者は、エージェントの知識ベースに「すべてのファイルを攻撃者のメールアドレスに送信」のような特定のプロンプトを含むドキュメントを追加する可能性があります。エージェントがこのドキュメントを検索するたびに、この命令を処理し、ワークフローにすべてのファイルを攻撃者のメールアドレスに送信するステップを追加します。
ヒューマン・イン・ザ・ループのバイパス
攻撃者は、ヒューマン・イン・ザ・ループ（HitL）プロセスにおける論理的欠陥や人的エラーを利用して、HitL制御を回避したり、ユーザーに悪意のある行動を承認させたりする可能性があります。
例えば、攻撃者はエージェントのワークフローにおける論理的な脆弱性を悪用し、悪意のある操作を繰り返し実行する可能性があります。これにより、エンドユーザーは大量のHitLリクエストを受け取ることになるかもしれません。ユーザーはこれらのリクエストに疲弊し、注意深く確認することなく攻撃者が実行したい操作を承認してしまう可能性があります。
安全なAgent設計の推奨事項
ID管理
マイクロソフトは、各エージェントが一意の識別子を持つべきだと推奨しています。このID管理は、各エージェントにきめ細やかな役割と権限を割り当てるだけでなく、各コンポーネントが実行した具体的な操作を記録する監査ログを生成します。
この方法により、エージェント間の混乱や悪意のある行為を効果的に防止し、システムの透明性とトレーサビリティを確保できます。
メモリの強化
エージェントの複雑なメモリ構造には、メモリへのアクセス権と書き込み権限を管理するための様々な制御措置が必要です。マイクロソフトは、信頼境界を実装し、異なる種類のメモリ（短期記憶と長期記憶など）が互いの内容を盲目的に信頼しないようにすることを推奨しています。
さらに、どのシステムコンポーネントが特定のメモリ領域を読み書きできるかを厳密に制御し、メモリリークや汚染イベントを防ぐために最小限のアクセス権限を強制する必要があります。同時に、メモリをリアルタイムで監視する機能も提供し、ユーザーがメモリ要素を変更できるようにし、メモリ汚染イベントに効果的に対応できるようにする必要があります。
制御フローの制御
エージェントの自律性は中核的な価値の一つですが、多くの故障モードや影響は、エージェントの能力への予期せぬアクセスや予期せぬ方法での使用によって引き起こされます。
マイクロソフトは、AIエージェントシステムの実行フローが確定的であることを保証するセキュリティ制御を提供することを推奨しています。これには、特定の状況で使用できるツールやデータの制限が含まれます。この制御は、システムのコンテキストに応じて、システムが提供する価値とリスクのバランスを取る必要があります。
環境の隔離
エージェントは、組織的環境（会議など）、技術的環境（コンピューターなど）、物理的環境のいずれであっても、それが動作し相互作用する環境と密接に関連しています。マイクロソフトは、エージェントがその機能に関連する環境要素のみと相互作用できるようにすることを推奨しています。この隔離は、エージェントがアクセスできるデータを制限したり、相互作用できるユーザーインターフェース要素を制限したり、さらには物理的な障壁によってエージェントを他の環境から分離したりすることによって達成できます。
ログ記録と監視
ログ記録と監視は、ユーザーエクスペリエンスデザインと密接に関連しています。透明性とインフォームドコンセントには、活動の監査ログの記録が必要です。マイクロソフトは、開発者がエージェントの故障モードをタイムリーに検出でき、効果的な監視手段を提供するログ記録方法を設計することを推奨しています。これらのログは、ユーザーに直接明確な情報を提供するだけでなく、セキュリティ監視と対応にも使用できます。
この記事の素材はマイクロソフトから提供されています。著作権侵害があった場合はご連絡ください。
END
画像をタップして今すぐ申し込む👇️