本稼働環境でのモデルガバナンス

本稼働環境でのモデルガバナンスとは

機械学習モデルがさまざまな事業分野で不可欠になると、品質を確保し、法規制上の義務を遵守するという新たな要件が発生します。実稼働モデルのデプロイと変更は、顧客、従業員、パートナー、投資家に広範な影響を及ぼす可能性あるため、モデルを一貫して管理しリスクを最小化するには、明確な手法を確立する必要があります。

本稼働環境でのモデルガバナンスでは、アクセスコントロール、テスト、検証、変更ログとアクセスログ、モデル結果のトレーサビリティなど、本稼働環境で実行されている機械学習モデルにルールと制御を設定します。本稼働環境にモデルガバナンスを導入すると、組織は機械学習への投資を拡大し、機械学習モデルの利用に関する法令遵守報告書を提出できるようになります。

本稼働環境でのモデルガバナンスに含まれる内容

役割と責任。本稼働環境でのモデルガバナンスの最初のステップは、本稼働環境でのモデルライフサイクル内で義務を伴う明確な役割を確立することです。役割には、実稼働モデルの運用者、実稼働モデルの管理者/承認者、実稼働モデルの検定者、本稼働環境で作業できるデータサイエンティスト/データエンジニアなどがあります。各役割の説明には、資格、能力、トレーニングまたは認定要件を含める必要があります。また、1人のユーザーが複数の役割を持つ場合もあります。

アクセスコントロール。本稼働環境に対する制御を維持するには、実稼働モデルおよび本稼働環境へのアクセスを制限する必要があります。制限は、個々のユーザーレベルまたはロールベースアクセスコントロール（RBAC）で実施できます。いずれの場合も、限られた数のユーザーだけが、モデルをトレーニングするための本稼働環境データの更新、実稼働モデルのデプロイ、A/B テストの作成、または本稼働環境の変更を行うことができます。

変更/監査ログ。法律や規制に準拠するためには、本番システムへのアクセスおよび変更に関するログをセキュアに作成する必要があります。変更日時および変更者を把握する機能はコンプライアンスにとって不可欠ですが、問題発生時のトラブルシューティングにも非常に役に立ちます。ただし、自動化されたシステムでは、ソフトウェアアプリケーションまたはエージェントによって、トリガーまたはスケジュールに基づいて更新が実施されることがあります。この場合、自動化されたシステムをユーザーとして扱い、そのアクションを他のユーザーアクションとともに記録してください。

アノテーション。アクションの簡単な記録は必要ですが、アクションの動機やユーザーを理解するには不十分です。本稼働環境のデータ、モデル、またはシステムへの変更ごとに、ユーザーはアクションを実行した理由に関するメモを提供する必要があります。このようなメモは他のユーザーや監査担当者にとって役に立つ場合があります。また、こうした記録はトラブルシューティングにも有用です。

本稼働環境向けのテストと検定。本稼働環境で品質を確保するには、デプロイする前に新しいモデルや更新されたモデルごとにテストおよび検定を実施するようプロセスを構築しなければなりません。これらのテストとその結果をログに記録して、モデルが本稼働環境で使用できると判断されたことを示す必要があります。また、モデルを承認する際にテスト情報が要求されます。

モデル履歴/バージョンライブラリ。モデルは、本稼働環境で更新されたり交換されたりすることで、時間の経過とともに変化します。モデルの成果物や変更ログを含めて、モデルの完全な履歴を維持することは、法規制の要件に対応する上で重要です。

追跡可能なモデル結果。各モデルの結果は、法律および規制の遵守義務を果たすために、その結果を生成したモデルとモデルのバージョンに帰属させなければなりません。実稼働モデルのライフサイクルが持つ動的な特性により、モデルが頻繁に更新されるため、トレーサビリティは特に重要です。法規制当局への申告は、個々のモデルが予測を計算してから数か月後に行われる事もあります。このため、申告を行う時点で本番稼働しているモデルが、申告対象である予測を作成するのに使用されたモデルではなくなっている場合があります。この要件を満たすために、日付と時刻の情報を含むリクエストデータと予測を記録します。また、追跡プロセスを容易にするために、モデルレスポンスの一部としてモデル ID を提供する必要もあります。

本稼働環境でのモデルガバナンスが重要である理由

機械学習モデルの利用を拡大し価値を高めるには、堅ろうで反復可能なプロセスが本稼働環境に必要です。このプロセスでは、役割、手順、ログ作成を明確化して、設定されたコントロールをサポートします。また、この一貫したプロセスを採用することで、組織の運用および法規制上のリスクを大幅に低減できます。さらに、ログを作成するとルールに従っていることを説明でき、トラブルシューティングの際に問題を迅速に解決するのに役立ちます。これにより、AI プロジェクトから得られる信頼と価値が向上します。

本稼働環境でのモデルガバナンス + DataRobot

DataRobot MLOps is a product that is available as part of the DataRobot AI Cloud platform. Production model governance is one of the four critical capabilities of DataRobot MLOps — in addition to simplified model deployment, monitoring for machine learning, and production life cycle management. With DataRobot MLOps, models built on any ML platform can be deployed, tested, and seamlessly updated in production with full controls in place to manage access and to log information for legal and regulatory compliance.

{“@context”:”https://schema.org”,”@type”:”FAQPage”,”mainEntity”:[{“@type”:”Question”,”name”:”What is a governance model?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”The deployment and modification of production models can have a far-reaching impact on customers, employees, partners, and investors, so clear practices must be established to ensure they are managed consistently in order to minimize risk. Production model governance sets the rules and controls for machine learning models running in production, including access control, testing, and validation, change and access logs, and traceability of model results. With production model governance in place, organizations can scale machine learning investments and provide legal and compliance reports on the use of machine learning models.”}},{“@type”:”Question”,”name”:”What is a production model?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”A production model is a model that is created by the training process in machine learning. It is used to get predictions on new data where you don’t know the target.”}},{“@type”:”Question”,”name”:”What is a dynamic governance model?”,”acceptedAnswer”:{“@type”:”Answer”,”text”:”Dynamic governance helps organization with decision-making and project management. It helps address workflow, organizational structure, and leadership in their AI projects.”}}]}