本稼働環境でのモデルガバナンス

本稼働環境でのモデルガバナンスとは

機械学習モデルがさまざまな事業分野で不可欠になると、品質を確保し、法規制上の義務を遵守するという新たな要件が発生します。実稼働モデルのデプロイと変更は、顧客、従業員、パートナー、投資家に広範な影響を及ぼす可能性あるため、モデルを一貫して管理しリスクを最小化するには、明確な手法を確立する必要があります。

本稼働環境でのモデルガバナンスでは、アクセスコントロール、テスト、検証、変更ログとアクセスログ、モデル結果のトレーサビリティなど、本稼働環境で実行されている機械学習モデルにルールと制御を設定します。本稼働環境にモデルガバナンスを導入すると、組織は機械学習への投資を拡大し、機械学習モデルの利用に関する法令遵守報告書を提出できるようになります。

本稼働環境でのモデルガバナンスに含まれる内容

役割と責任。本稼働環境でのモデルガバナンスの最初のステップは、本稼働環境でのモデルライフサイクル内で義務を伴う明確な役割を確立することです。役割には、実稼働モデルの運用者、実稼働モデルの管理者/承認者、実稼働モデルの検定者、本稼働環境で作業できるデータサイエンティスト/データエンジニアなどがあります。各役割の説明には、資格、能力、トレーニングまたは認定要件を含める必要があります。また、1人のユーザーが複数の役割を持つ場合もあります。

アクセスコントロール。本稼働環境に対する制御を維持するには、実稼働モデルおよび本稼働環境へのアクセスを制限する必要があります。制限は、個々のユーザーレベルまたはロールベースアクセスコントロール（RBAC）で実施できます。いずれの場合も、限られた数のユーザーだけが、モデルをトレーニングするための本稼働環境データの更新、実稼働モデルのデプロイ、A/B テストの作成、または本稼働環境の変更を行うことができます。

変更/監査ログ。法律や規制に準拠するためには、本番システムへのアクセスおよび変更に関するログをセキュアに作成する必要があります。変更日時および変更者を把握する機能はコンプライアンスにとって不可欠ですが、問題発生時のトラブルシューティングにも非常に役に立ちます。ただし、自動化されたシステムでは、ソフトウェアアプリケーションまたはエージェントによって、トリガーまたはスケジュールに基づいて更新が実施されることがあります。この場合、自動化されたシステムをユーザーとして扱い、そのアクションを他のユーザーアクションとともに記録してください。

アノテーション。アクションの簡単な記録は必要ですが、アクションの動機やユーザーを理解するには不十分です。本稼働環境のデータ、モデル、またはシステムへの変更ごとに、ユーザーはアクションを実行した理由に関するメモを提供する必要があります。このようなメモは他のユーザーや監査担当者にとって役に立つ場合があります。また、こうした記録はトラブルシューティングにも有用です。

本稼働環境向けのテストと検定。本稼働環境で品質を確保するには、デプロイする前に新しいモデルや更新されたモデルごとにテストおよび検定を実施するようプロセスを構築しなければなりません。これらのテストとその結果をログに記録して、モデルが本稼働環境で使用できると判断されたことを示す必要があります。また、モデルを承認する際にテスト情報が要求されます。

モデル履歴/バージョンライブラリ。モデルは、本稼働環境で更新されたり交換されたりすることで、時間の経過とともに変化します。モデルの成果物や変更ログを含めて、モデルの完全な履歴を維持することは、法規制の要件に対応する上で重要です。

追跡可能なモデル結果。各モデルの結果は、法律および規制の遵守義務を果たすために、その結果を生成したモデルとモデルのバージョンに帰属させなければなりません。実稼働モデルのライフサイクルが持つ動的な特性により、モデルが頻繁に更新されるため、トレーサビリティは特に重要です。法規制当局への申告は、個々のモデルが予測を計算してから数か月後に行われる事もあります。このため、申告を行う時点で本番稼働しているモデルが、申告対象である予測を作成するのに使用されたモデルではなくなっている場合があります。この要件を満たすために、日付と時刻の情報を含むリクエストデータと予測を記録します。また、追跡プロセスを容易にするために、モデルレスポンスの一部としてモデル ID を提供する必要もあります。

本稼働環境でのモデルガバナンスが重要である理由

機械学習モデルの利用を拡大し価値を高めるには、堅ろうで反復可能なプロセスが本稼働環境に必要です。このプロセスでは、役割、手順、ログ作成を明確化して、設定されたコントロールをサポートします。また、この一貫したプロセスを採用することで、組織の運用および法規制上のリスクを大幅に低減できます。さらに、ログを作成するとルールに従っていることを説明でき、トラブルシューティングの際に問題を迅速に解決するのに役立ちます。これにより、AI プロジェクトから得られる信頼と価値が向上します。

本稼働環境でのモデルガバナンス + DataRobot

DataRobot MLOps は、DataRobot エンタープライズ AI プラットフォームの一部として提供される製品です。本稼働環境でのモデルガバナンスは、DataRobot MLOps の 4 つの重要な機能の 1 つです。その他の機能には、モデルデプロイの簡素化、機械学習の監視、本稼働環境でのライフサイクル管理があります。DataRobot MLOps を使用すれば、任意の機械学習プラットフォームで構築されたモデルを本稼働環境でデプロイ、テスト、シームレスに更新できます。また、アクセスを管理したり、法規制遵守のために情報を記録したりすることも自由にできます。