信頼性、セキュリティ、コンプライアンスを実現する、新しいAIガバナンスソリューション

本ブログはグローバルで公開された「New AI governance solutions for trust, security, and compliance」の抄訳版です。

AIの開発と管理は、世界中から集められた部品を使って最新鋭の精密機械を組み立てるようなものです。

モデル、ベクトルデータベース、エージェントといった各コンポーネントは、それぞれ異なるツールキットから提供されており、独自の仕様を持っています。すべてが完璧に連携したと思った矢先に、新たな安全基準やコンプライアンス規則への対応を迫られ、再構築が必要となることも珍しくありません。

データサイエンティストやAI開発者にとって、このような状況はしばしば混沌と感じられることでしょう。すべての生成AIおよび予測AIアセットにわたり、問題を追跡し、セキュリティを担保し、さらに規制要件を順守するためには、絶え間ない監視が不可欠となるのです。

本記事では、実践的なAIガバナンスのフレームワークの概要を解説します。どれほど複雑化しても、プロジェクトがセキュリティ、コンプライアンス、拡張性を維持するための3つの戦略をご紹介します。

AIガバナンスと可観測性の監視を統合する

多くのAIチームが、独自ツール、プログラミング言語、ワークフローの管理に苦心しており、同時に予測モデルと生成モデルの双方でセキュリティを確保することの難しさを指摘しています。

オープンソースモデル、商用サービス、カスタムフレームワークなど、AIアセットが多岐に分散している環境では、可観測性（オブザーバビリティ）とガバナンスの制御を維持することは、もはや管理不能で圧倒されてしまうタスクと言えるでしょう。

監視体制を統合し、AIの管理を一元化し、大規模かつ信頼性の高いオペレーションを構築できるよう、DataRobotは新たに3つのカスタマイズ可能な機能を提供します。

1. Bolt-on オブザーバビリティ（後付け型の観測機能）

AIオブザーバビリティプラットフォームの一部であるこの機能は、わずか2行のコードを追加するだけで、包括的な監視、介入、モデレーションを有効化することが可能になります。これにより、Google Vertex、Databricks、Microsoft Azure、およびオープンソースツール上で構築されたものも含め、生成AIのユースケース全体で予期せぬ挙動を未然に防ぐことができるようになります。

LLM、ベクトルデータベース、RAG（検索拡張生成）フロー、そしてエージェンティックワークフローに対して、リアルタイムの監視、介入、モデレーション、およびガードを提供します。追加のツールや煩雑なトラブルシューティングを必要とせず、プロジェクトの目標に沿った中断のないパフォーマンスを実現するのです。

2. 高度なベクターデータベース管理

新しい機能により、DataRobot内で構築されたものか、他のプロバイダーが提供するものかを問わず、ベクターデータベースに対する完全な可視性と制御を維持し、スムーズなRAGワークフローを確保することが可能になります。

デプロイメントを中断することなくベクターデータベースのバージョンを更新しつつ、履歴やアクティビティログを自動的に追跡することで、完全な監視体制を確立できます。

さらに、ベンチマークや検証結果などの重要なメタデータを監視し、パフォーマンスの傾向を把握することで、ギャップを特定し、効率的で信頼性の高いRAGフローを支援します。

3. コードファーストのカスタム再学習

再学習を極めてシンプルにするため、予測AIモデルに使用される言語や環境に関わらず、コード内に直接組み込めるカスタマイズ可能な再学習戦略を提供します。

特徴量エンジニアリングの再チューニングやチャレンジャーテストなど、ユースケースの目標に合わせた再学習シナリオを設計できるようになります。

また、自動再学習ジョブのトリガーを設定することも可能であり、最適な戦略の早期発見、迅速なデプロイ、そして長期的なモデル精度の維持に貢献するのです。

生成AIのすべてのレイヤーにコンプライアンスを組み込む

生成AIにおけるコンプライアンス対応は非常に複雑であり、各レイヤーで厳格なテストが求められますが、これを効果的に処理できるツールは多くありません。

堅牢で自動化された安全対策がなければ、不正確な結果や作業の無駄、さらには法的リスクを招き、組織に損害を与える危険性すらあるものです。

この複雑で変化の激しい状況を乗り切るため、DataRobotは生成AIに特化して設計された、業界初となる自動コンプライアンステストおよびワンクリックのドキュメント作成ソリューションを開発しました。

以下の3つの主要機能を通じて、EU AI Act、NYC Law No. 144、California AB-2013といった、進化し続ける法規制への準拠を確実なものとします。

1. 脆弱性を検出する自動化されたレッドチームテスト

最も安全なデプロイメントの選択肢を特定できるよう、PII（個人を特定できる情報）、プロンプトインジェクション、有害性、バイアス、公平性に関する厳格なテストを開発しており、複数のモデルを並行して比較検討することが可能になります。

2. ワンクリックで作成できるカスタマイズ可能な生成AIコンプライアンスドキュメント

世界中で新たに生まれるAI規制の迷路をナビゲートすることは、決して簡単でも迅速でもありません。だからこそ私たちは、面倒な作業を代行する、ワンクリックで出力可能な標準レポート機能を作成しました。

重要な要件をドキュメントに直接マッピングすることで、コンプライアンスを維持し、変化する基準に柔軟に適応し、退屈な手作業によるレビューからチームを解放するのです。

3. 本番環境のガードモデルとコンプライアンス監視

多くのお客様が、自社のAIシステムを保護するためにDataRobotの包括的なガードシステムを信頼しています。今回、このシステムをさらに拡張し、リアルタイムのコンプライアンス監視、アラート、ガードレールを提供することで、LLMや生成AIアプリケーションの法令順守を保ち、ブランドを保護できるようになりました。

モデレーションライブラリへの新たな追加機能として、機密データを保護するPIIマスキング技術があります。

自動化された介入と継続的な監視により、望ましくない挙動を即座に検知して軽減し、リスクを最小限に抑えながらデプロイメントを保護することが可能になります。

ユースケースに応じたコンプライアンスチェックを自動化し、ガードレールを適用し、カスタムレポートを生成することで、モデルが常に準拠し安全に保たれているという確信を持って開発を進められると言えるでしょう。

リアルタイムの診断と回復力に向けたAI監視のカスタマイズ

監視は「画一的なもの」ではありません。異なるツール、環境、ワークフロー全体で制御を維持するには、プロジェクトごとに境界やシナリオをカスタマイズする必要があります。検知が遅れれば、不正確なLLMの出力や顧客の喪失といった致命的な失敗につながりかねません。一方で、手動によるログの追跡は時間がかかり、アラートの見逃しや誤報の発生を招きやすいものです。

他のツールでは、検知から修復までのプロセスが複雑で非効率になりがちですが、私たちのアプローチは異なります。

DataRobotは、包括的かつ統合された監視スイートで知られており、お客様の特定のニーズに合わせた完全なカスタマイズを可能にすることで、すべての生成AIおよび予測AIのユースケースにおいて運用上の回復力（レジリエンス）を確保します。そして今回、複数の新機能によってより深い追跡可能性（トレーサビリティ）を実現し、この基盤をさらに強化しました。

1. ベクトルデータベースの監視と生成AIのアクショントレース

DataRobotで構築されたものか他社製かを問わず、すべてのベクトルデータベースにわたり、パフォーマンスと課題解決に関する完全な監視体制を獲得できます。

本番環境におけるプロンプト、ベクトルデータベースの使用状況、パフォーマンス指標を監視し、望ましくない出力、参照頻度の低いドキュメント、ドキュメントセットの欠落などを特定できるようになります。

また、プロンプト、応答、指標、評価スコアにまたがってアクションをトレースすることで、問題を迅速に分析・解決し、データベースを合理化して、RAGのパフォーマンスと応答品質を向上させることが可能になるのです。

2. カスタムドリフトとGeospatial（地理空間）監視

この機能により、プロジェクトのニーズに合わせてカスタマイズされたドリフト検知と地理空間トラッキングを用い、予測AIの監視を最適化することが可能になります。特定のドリフト基準を定義し、地理空間情報を含むあらゆる特徴量のドリフトを監視し、アラートや再学習ポリシーを設定することで、手作業による介入を大幅に削減できます。

地理空間情報を利用するアプリケーションにおいては、地域ごとのドリフト、精度、予測といった位置ベースの指標を監視できるだけでなく、パフォーマンスの低い地理的領域をドリルダウンし、その領域を特定して的確な再学習を行うことが可能になります。

住宅価格の分析であれ、詐欺などの異常検知であれ、この機能はインサイトを得るまでの時間を短縮します。あらゆる地理的セグメントを視覚的にドリルダウンして探索することで、地域を問わずモデルの精度を高く維持できると言えるでしょう。