Agent Assist向けの敵対的評価—本番運用に耐えるエージェントを出荷する

adversarial evaluation agent assist hero

AIエージェントのテストの多くは、1回しか実施されません。それも、開発に携わった本人が、すでにうまくいくと分かっているプロンプトを実行するだけです。ハッピーパスのテストは、エージェントが設計どおりに動くことは証明しますが、利用者が悪意のあるペイロードを貼り付けたり、権限の範囲を逸脱させようとしたり、（例えば）6度にわたってシステムに食い下がったりしたときに何が起きるかについては、何も明らかにしません。

DataRobotのAgent Assistには現在、敵対的評価（adversarial evaluation）が組み込まれています。これは、自動化されたマルチターンのレッドチーミングであり、デプロイの前に、フレームワーク（LangGraph、CrewAI、LlamaIndex、あるいは素のPython）を問わず、エージェントに敵対的な圧力をかけます。

ハッピーパスのテストがうまくいかない理由

エージェントのシステムプロンプトを書くエンジニアには、それを壊そうとすることに対する構造的な偏りが働きます。専任のレッドチームであれば、こうした抜け穴を見つけられますが、手作業のレッドチーミングは、すべてのプルリクエストやプロンプトの微調整に対応できるほどの規模には対応できません。

敵対的評価は、エージェントのセキュリティに関する規律を、開発の業務フローの中に直接自動化して組み込むことで、このギャップを埋めます。エージェントの安全性を、継続的インテグレーション（CI）のように扱うわけです。

マルチターンの攻撃ベクトル

敵対的評価のスキルは、エージェントのスペックとコードを分析し、3つの異なるベクトルにわたって、対象を絞ったシナリオの実行を行います。

攻撃（Attack）： プロンプトインジェクション、パストラバーサル、権限範囲のエスカレーションを試み、エージェントのガードレールを回避しようとします。
振る舞い（Behavior）： エッジケース、曖昧なリクエスト、想定外の利用者の振る舞いをテストします。
持続性（Persistence）： マルチターンのやり取りにわたって持続的に反論・押し返しを行い、エージェントが時間の経過とともにガードレールを維持できるかどうかを検証します。

実行中は、敵対的な役割を担うLLMが会話を進行させ、フィクスチャエンジンが合成データを使ってツールの応答を模擬します。本番システムは隔離された状態を保ちます。実際のデータ照会が必要な場合は、読み取り専用のツールを明示的に有効化できますが、状態を変更するツールは実行がブロックされます。