AI モデルのガバナンス向上のために必要なこと

監視、トレーサビリティ、バージョン管理は、システムで発生したエラーやインシデントの原因特定に不可欠です。また、機械学習システムでは避けて通れない、モデルの再トレーニングやプロセスの更新の際にも、ドキュメントがきちんと整備されていれば安心です。 

本番環境のモデル監視では、信頼構築に必要な複数の要素を追跡できます。最初に作成したモデルの評価と同様に、精度に対する多次元的な視点、入力されるスコアリングデータの継続的な評価、不安定性を監視できる予測結果の記録はすべて、モデルの継続的なパフォーマンスを検討するうえで重要です。謙虚さに関係する適切なトリガー条件があるなら、それらもすべて記録してください。あとはバイアスと公平性の指標（必要な場合）、およびモデルの説明可能性のためのツールがあれば、モデル自体に関連する要素を包括的かつ完全に網羅できます。システムエラーやアップタイムを追跡する点で、本番環境にも注意を払う必要があります。

本番環境の AI モデルに起こり得る問題

機械学習モデルは、ある時点のスナップショットを基に構築されます。そのため、予測ターゲットとトレーニングデータの特徴量の間に見られる関係性が徐々に変化して、関連がなくなる傾向が見られます。これは予想される状況です。主に、根本にあるビジネスプロセスの変化が速いほど、この関係性も早期に変化します。

精度、およびデータドリフトと呼ばれる数量を監視すると、より新しいデータのサブセットでモデルを再トレーニングすべきタイミングを見極めることができます。データドリフトでは、トレーニング特徴量の分布がスコアリングデータで観察される特徴量の分布からどの程度乖離しているかを、PSI（Population Stability Index）と呼ばれる指標で測定します。 

一方、突然に生じる変化もあります。ブラックスワン現象が発生すると、前日までは完璧なパフォーマンスを発揮していたモデルが、新しい状況の動態をまったく把握できないという事態も起こり得ます。別のシナリオとしては、停電やシステムの問題で本番環境、機械学習モデル、その予測結果などを利用できなくなる可能性があります。こうした場合は、バックアップや冗長性が非常に重要です。 

モデルの冗長システムとは、たとえば、別のサーバーに保存された、オリジナルモデルのミラーです。計算がよりシンプルなモデルや、モデルの代わりにプロセスの安全なガバナンスを実現できるビジネスルールのセットも考えられます。アプリケーションによっては、モデルのそれまでの運用の代替となり得る手動プロセスを整えておくことも、障害発生時の急場の対策として活用できます。

AI モデルのパフォーマンスに関して責任を負う組織内の担当者

AI モデルのパフォーマンスを信頼できるレベルに維持するには、多くの場合、以下の人々による共同監視とコラボレーションが必要です。

• IT の専門家
• データサイエンティスト
• ビジネスユーザー