ホスト先に関係なく、あらゆるモデルを監視
サービスの正常性、データドリフト、精度などの統計情報を把握し、監視、通知、再トレーニングを設定できます。
リアルタイムでインサイトを獲得しアラートを出力
リアルタイムの正常性監視、アラート、および本番環境の詳細な診断により、問題が発生しているモデルを正確に特定できます。
パフォーマンスを基準としたモデルの比較と置き換え
DataRobot は、本番環境の精度低下を防ぐために、すばやく更新できるチャレンジャーモデルをプロアクティブかつ自動的に提示します。
本番環境のモデルの ROI を維持
複雑なユースケースの ROI を計算し、デプロイ環境のパフォーマンスを管理および維持します。
カスタム指標の追跡
企業は、機械学習の取り組みを売上高や収益に直接結びつけることができるようにする必要があります。DataRobot のカスタム推論指標を使用すると、ビジネスクリティカルな指標を作成して追跡し、各デプロイ環境の ROI を一元的に監視できます。DataRobot AI Platform の外部でモデルが実行されている場合でも、継続的な価値創出が可能です。それにより、エラーによって生じるコストなどのビジネスクリティカルな指標を正確に把握し、その情報を BI ダッシュボードに取り込むことができます。
ドリフトと精度を容易に管理
ドリフトと精度を管理できる一連の機能により、すべてのモデルのパフォーマンスや正常性の監視と維持が、かつてないほど簡単になりました。迅速かつ詳細に変化を分析できるため、ビジネスに影響が及ぶ前に適切な措置を講じられます。また、テキストを含むさまざまなデータ型で、簡単にデータドリフトを可視化し、特定のバッチ予測の精度を追跡、比較できます。細かいセグメントまで掘り下げれば、指標全体の変化の要因を具体的に確認できます。
モデル精度の比較
実稼働モデルを劣化させてはいけません。現実のシナリオに対するパフォーマンスを適宜分析することで、最適なモデルを特定します。チャレンジャーモデルは、独自に作成するか、DataRobot AI Platform を使って作成します。次に、チャレンジャーモデルのインサイトを生成し、チャレンジャーのパフォーマンスやチャンピオンとの比較結果を詳しく直感的に分析します。チャレンジャーとの比較は、時系列モデル、マルチクラスモデル、外部モデルで実行できます。
運用の監視を容易に実現
MLOps 機能では、運用アクティビティを包括的に把握し、モデル全体を追跡して必要に応じてアラートを生成できます。ユーザーは、エラーやモデルのレイテンシーをグラフ化したり、ポリシーを設定したりできます。これにより、サービスの正常性を維持し、SLA を満たし、堅牢な AI ドリブンアプリケーションを実行することが可能になります。デプロイ環境の精度が落ち始めた際の対応として、選択したしきい値に基づいて複数のアラートを作成したり、モデル更新方針を独自に作成したりして、精度の低下やドリフトの発生などのイベント後や、指定したスケジュールに従ってアクションを実行します。
バイアスと公平性を監視
DataRobot には、モデルのバイアスのチェックに使われる 5 種類の業界標準の公平性指標が用意されているため、強力な規制コンプライアンス戦略を策定し、ガイド付きワークフローを利用してユースケースに最適な公平性指標を選択できます。ML モデルを本番環境にデプロイした後でも、あらかじめ設定されたしきい値をモデルが下回ったときに自動アラートを発することで、時間の経過とともにモデルがバイアスに影響されやすくなるのを防げます。バイアスが検出された場合は、インサイトを活用することで、根本原因を特定して迅速に対処できます。
