DataRobot Humble AI（予測の信頼性）のご紹介

(このブログポストは Introducing DataRobot Humble AI の和訳です)

あなたのモデルが生成している予測は信頼できますか？ 少し考えてみましょう。

機械学習モデルは過去のデータから学習し、発見したパターンを使うことで、新しいデータについて予測します。すべてが完璧であれば、モデルが解決すべき問題が変わることはなく、膨大な量の学習データが用意され、推論時に受け取る新しいデータは常に学習データと同じ特性を持つでしょう。

いつもこのような条件に恵まれた理想的な世界では、すべての予測に絶大な信頼を寄せるのは難しいことではありません。当たり前のように AI を信頼するでしょう。しかし、誰もが知っているように、特に今日では、一貫性と不変性を求めるのは贅沢とされています。

実際に、機械学習の多くは、変わり続けるデータと進化し続けるシステムを使用して行われます。ほとんどのモデルは、デプロイ後のある時点で、他とは異なるデータ、異常なデータ、想定外のデータに対して予測を行います。モデルを監視してデータドリフトを検出することは、この問題に対処するための1つの方法ですが、そのためにはより長い期間のデータを集計して分析する必要があります。

そのため、データドリフト監視の次のステップとしてリアルタイムで予測を保護することが必要です。これにより、一つ一つの予測に対してすぐにアクションを起こすことができます。それには、個々の予測においてアクションにつながるルールの定義が可能でなければなりません。また、これらのルールは、生成された予測の精度がどのくらい信頼できるかということに基づいていなければなりません。

予測の際に想定される状況に対して確信できればできるほど、予測結果に対する信頼性も高まります。さらに、どれだけ確信があるのか、またはないのかをシステムが教えてくれるのであれば、傲慢なシステムではなく、謙虚なシステムだと思えるようになり、より一層信頼できるようになるのではないでしょうか。

DataRobotのエンタープライズAIプラットフォームのリリース6.1では、Humble AI（予測の信頼性）と呼ばれるエキサイティングな新機能を追加して、これらの課題に取り組んでいます。

Humble AI（予測の信頼性）の仕組み

DataRobot の Humble AI では、任意のデプロイモデルに対してルールのセットを定義し、それらルールを予測時に同時に適用することができます。各ルールは、トリガーと割り当てられたアクションで構成されています。トリガーは、各行の予測時にチェックされる条件として機能し、アクションには、条件を満たした場合の動作を定義します。

現在、3つのトリガーがサポートされています。

1. 不確かな予測：モデルの予測が正常値の範囲外（連続値問題の場合）、または信頼度の低い領域内（分類問題の場合）にないかどうかを確認します。
2. 外れ値入力：数値特徴量がモデルのトレーニング時に存在したものと類似しているかどうかを確認します。
3. 低観測値域：カテゴリー型特徴量の値が想定外または不適切として指定したものでないかどうかを確認します。

これらのトリガーに基づいて、3つのアクションがサポートされています。

• 操作なし：予測に全く影響を与えずに、ルールの条件が満たされる頻度を監視することができます。条件の選択やトリガーの発生頻度が適切かどうかを確認できます。
• オーバーライド予測：モデルの出力に関係なく、予測を指定の値にするよう指示できます。予測値をコントロールできるので、デプロイにビジネスルールを強制することが可能です。予測において「安全な」値を指定できます。それにより、モデルが特定の状況において不確かな場合に、アクションによるリスクを最小限に抑えることができます。
• エラー発生：予測を完全に破棄することができます。

トリガーやアクションだけでなく、DataRobot の Humble AI のすべてのルールが監視されているので、各ルールがどれくらいの頻度でトリガーされたかを確認できます。この情報は、モデルデプロイの新しい[信頼性]タブでアクセスできるサマリーページで提供されます。

信頼性ルールを継続的に監視することで、設定したトリガーがいつ、どのくらいの頻度で発生しているかを確認できるため、それに従ってルールの調整も可能です。これにより、基本的には、モデルの詳細が分かれば、そのモデルの信頼性ルールを微調整したり、改善したりすることができます。

今すぐ Humble AI を使ってみましょう

DataRobot の MLOps に Humble AI 機能が搭載されました。この機能を有効にするために追加のアクションは必要ありません。さらに良いことに、既存のすべてのデプロイで利用できます。この機能を利用する場合は、任意のデプロイで新規の[信頼性]タブに移動して有効化します。

まとめ

このような多くの調査や記事で指摘されているように、本番環境にデプロイされ、意思決定に最大の価値をもたらすモデルは、わずか10%に過ぎません。DataRobot には AI Trust チームがあり、お客様が堅牢で確実、かつ安定していて信頼性に優れたモデルを構築できるよう、たゆまぬ努力を続けています。Humble AI を使用すると、デプロイされたモデルにより生成された予測をリアルタイムで分析し、保護することができます。これにより、デプロイされたモデルの信頼性が向上し、より多くの価値を得ることが可能です。Humble AI をデプロイに導入してみましょう。また、最新のリリース6.1のその他の新機能もぜひお試しになってください。

執筆者について

Sasha Bagan（サーシャ・バガン）

バックエンドエンジニア

DataRobot の AI Trust チームのソフトウェアエンジニア。お客様のために AI システムの透明性、倫理性、信頼性を高める機能の構築に従事。データサイエンスおよび機械学習のライフサイクルの全段階でソフトウェアエンジニアリングの経験を持つ。ウクライナのタラス・シェフチェンコ記念キエフ国立大学で数学の修士号を取得。

Sasha Bagan（サーシャ・バガン） についてもっとくわしく

---

小幡 創（Hajime Obata）

プロダクトマネージャー

DataRobot プロダクトマネージャー。2018年から DataRobot に参加。DataRobot 製品に関するフィードバック収集と新規開発計画への反映、新機能・新製品のベータプログラムやローンチ、トレーニングやマーケティングを通じた普及活動、ローカライゼーション管理、などを通じて、AI と DataRobot の価値を日本に広く広めるための業務に従事。

小幡 創（Hajime Obata） についてもっとくわしく