DataRobot JP A111 MLOps Governance ROI Generation Background v2.0

継続的なROI創出のためのMLOpsとガバナンス

2021/08/18

執筆者:

· 推定読書時間 3 分

DataRobot で生損保業界のお客様を担当している AI サクセスマネージャーの平田です。多くの機械学習のモデルは世の中の変化に影響を受け、時間とともに陳腐化します。ビジネスで AI を活用し、継続的に ROI を生み出していくためには、MLOps ガバナンスを整備する必要があります。そこで本稿では、DataRobot でのプロジェクトを通した私自身の経験を基に MLOps とガバナンス整備について、背景、課題、施策といった観点から解説します。

背景 – AI 活用の成熟化

AI 活用が成熟化すると、多くの企業は AI モデルをエンタープライズレベルで管理・運用するノウハウやテクノロジーを検討するフェーズに入ります。ここでは企業の AI 活用の成熟化を具体的に見ていきましょう。

ジョブ化の推進
当初はデジタルマーケティングや小売などの AI と親和性の高い領域において、ターゲティング、需要予測などを中心に AI 活用が進んでいきました。この場合、あるビジネスの業務に対して、モデルを単体で活用するケースがほとんどです。しかし近年は、業界・業務を問わずビジネスのあらゆる場面で AI 活用が進められています。特にAI活用に先進的な企業は、一つの業務に対して複数のモデルを連携させて使用する”AI のジョブ化”を構築するようになってきました。ジョブ化とは、ビジネスの最終的な意思決定をAIの予測結果に任せる”意思決定のデジタル化”とも言えるアイデアで、DX の要(かなめ)となるテーマとしても注目されています。
下図に示した「保険の審査プロセス」を例にジョブ化の仕組みを見ていきましょう。ここでは、申請者の属性推計・問い合わせ分類・リスク分析・商品のレコメンドと、複数の AI モデルが連携することで業務を通した意思決定の大部分を AI で実現します。ジョブ化によって、AI によるビジネスインパクトは大きくなりますが、AI 活用の仕組みはより複雑になっていきます。。

活用範囲の拡大
多くの AI 活用に成功した企業は、複数部署での活用展開をねらい、さらなる AI によるビジネスインパクトを享受する方向に進もうとします。異なるビジネス・業務で利用される AI モデルは、当然ながら予測の頻度や予測のタイミング、求められる精度も異なります。データサイエンティストや AI エンジニアは、ビジネス要求に応える水準でAIを運用するために、モデルの管理と監視を強化し、スピーディにデプロイ・再学習をすることが求められます。

AI 活用の高度化
AI 単体活用であったとしても、より大きなビジネスインパクトを創出するために基幹業務での活用も進んでいます。
例えば損害保険会社では、AI によって保険金の疑わしい請求を検知する仕組みの高度化を目指しています。正しい請求に対しては速やかに支払う一方で、疑わしい請求をAIが検知して詳細に調査できるようにすれば、支払いの迅速化と不正請求の逓減を同時に実現できます。

これにより顧客満足度の向上と業務の効率化による調査工数の大幅な削減という大きなビジネスインパクトが期待できます。

成熟化によって発生する課題

AI 活用の成熟化が進むにつれ、次に挙げる3つの課題が発生します。これらの課題へ対処し、企業として AI モデルを安全かつ安定した状態で利用できることが、AI によってビジネスを成長させる鍵となることは言うまでもありません。詳しく見ていきましょう。

シャドー AI の氾濫
AI 活用を展開する際は、多くの場合、初めから全社的に推進するのではなく、特定の部署からスモールスタートすることになります。そしてある部署での AI 活用が成功すると、その結果を基に複数部署での展開を段階的に試していきます。そのため、管理手法やガバナンスは活用の拡大に伴って徐々に整備されていきます。時には、AI の価値が社内で認識されてくることで、ある段階から急速に活用が拡大するケースも発生するでしょう。このような AI 活用が拡大する過程にある企業の多くは、各部署の我流・亜流のプロセスでモデルを構築・デプロイすることを許してしまう状況に陥ります。つまり、部署のプロジェクトオーナーやデータサイエンティスト独自の判断だけで自由に構築されたモデル（シャドーAI）がビジネスに適用され、企業として AI 運用のリスクを管理できない状態になります。

煩雑なモデル管理と監視
複数のモデルがデプロイされるようになると、モデルのバージョニングや、一定の水準を満たす予測精度での運用・監視が極めて難しくなります。私が経験した実例としては、データサイエンティストの好みや部署の慣習によって、R やpython、AutoML ツールなどのモデル構築環境が異なり、モデルのバージョニングがバラバラになってしまい、管理が全くできないケースがありました。また統合的な監視環境が準備できていない企業では、各モデルの予測精度をそもそも監視することが叶わず、デプロイ当初に設定した基準を下回る精度のモデルが延々と使用されていることに気づかないこともあります。このようなケースでは機会損失が恒常的に発生していことになるため、企業にとっての損失は少なくありません。

運用担当者リソースの枯渇
モデルのリリースは、ビジネスのシーズナリティやイベントの影響を受けることが想定されるため、一年を通したモデルリリースタイミングの平準化は難しいケースも多く、ピークタイムが発生します。一方で、運用担当者のリソースは簡単にスケールすることはできないため柔軟性が確保できません。現実解としてピーク時に対応可能な最小リソースで体制を構築する選択を採る企業が多いでしょう。換言すると”想定外”が発生した場合には、運用担当者は時間的にもスピード的にも厳しい対応を迫られることになります。言うまでもなく、こうした状況は品質の低下、ガバナンスの崩壊、人材の離職などのリスクを増大させます。

施策としての MLOps とガバナンス整備

前述した課題を分析すると、信頼性の担保、柔軟性の確保、生産性の向上というキーワードが見えてきます。ここではそれぞれのキーワードを盛り込んだ施策の検討をご紹介します。

信頼性の担保
シャドー IT を防ぎ、ビジネスで活用されるモデルの信頼性を担保するには、定められたプロセスに則りデプロイされる仕組みを構築することが有効です。さもないと一定の品質を担保したうえで、AI をビジネスで活用することは難しくなってしまいます。これはいわゆる”プロセスの標準化”ですが、プロセスに含まれるステップを明文化するだけでは不十分です。「いつ、誰が、どのような観点でモデルとそのリスクを評価し、デプロイを判断するのか」というように、役割と責任の定義も重要です。プロジェクトオーナー、プロジェクトマネージャー、データサイエンティスト（DS）、AI エンジニアというインセンティブの異なる役割を持つ担当者が相互にチェックし合い、モデルを健全にデプロイ・運用できるプロセスを構築できれば信頼性を十分に担保することができるでしょう。一例として、弊社検討事例を示します。

柔軟性の確保
増加するモデルを継続的かつ統合的に管理・監視していくためには運用の柔軟性を確保する必要があります。モデル構築に使われた開発環境を問わずに一元的にモデルを管理できる仕組みの構築と、運用中のモデルの精度をリアルタイムかつ統合的に監視し、ドリフトを速やかに検知するための機能やダッシュボードを準備しなければなりません。もちろん、スクラッチで開発することも可能ですが、開発・運用のコストを鑑みると、DataRobot MLOps をはじめ監視機能を提供するツールを用いることも検討すべきでしょう。

生産性の向上
ビジネスにおいては、運用側のリクエストよりも多くの場合ビジネスサイドのリクエストが優先されるでしょう。それは、デプロイやモデル構築のスケジュールを一定以上に平準化することは難しく、ある程度のリソース負荷が集中するリスクの存在を意味します。この前提に立ったうえで、変化の速いビジネスに対応していくためには、モデル構築のスケーラビリティとスピードという”生産性の向上”に取り組むことが命題となります。例えば、需要予測のモデルで”想定外”の事象が発生した場合、予測精度が大きくドリフトする可能性があります。そうなると、商品の発注数や生産数、売上の予測などにも影響が生じます。このような状況になった場合は、再学習したモデルをいち早くデプロイし、機会損失を防がなければなりません。ところがデータサイエンティストと運用担当者のリソースはあらかじめ予定されていたモデル構築とデプロイ対応でリソースに余裕がなければ、広範囲な調整が必要となり、ビジネスへの影響はより大きくなります。生産性を向上させる鍵となるのは、タスクの自動化を進めることです。自動化は属人化の排除にもつながり、担当者の負荷を軽減することで離職リスクを抑制し、事業継続性を高めます。AI モデル構築の自動化には AutoML などを検討する必要があり、デプロイの自動化には CI/CD といったパイプライン構築が必要となります。

まとめ

本稿では MLOps ガバナンスの必要性を背景・課題・施策の観点からご説明しました。

MLOps とガバナンスの整備が必要となる背景
• AI 活用が成熟するにつれてモデルが複雑化・広範囲化・高度化する
• それによって、統合的なモデルの管理・運用が求められる

成熟化に伴う主な課題
• シャドー AI の発生でリスクが把握できない
• 運用がサイロ化し想定外事象への対応が遅れる
• ピークコントロールが難しい状況下において、運用担当者リソースがボトルネックになる

施策としての MLOps とガバナンス整備
• 信頼性の担保ガバナンス整備とプロセス標準化でシャドー IT の発生を抑制する
• 柔軟性の確保モデルの一元管理と統合的な精度監視によりビジネス要求に応える運用を実現する
• 生産性の向上モデル構築とデプロイの自動化を推進し、担当者リソースへの依存を極小化する

近年、多くの企業が AI 活用の展開に向けて、MLOps とガバナンスの整備を重要課題として挙げています。
弊社としてもこのテーマに取り組んでいきますので、引き続き読者の皆様にも有益な情報をご提供していければと思います。

執筆者について