すべてのAIエージェントを監視し、 リスクの兆候を捉えた瞬間に対処する。
すべてのAIエージェントワークフォースを、ひとつの画面で。単一モデルの監視にとどまらず、稼働するすべてのAIエージェントの行動、出力品質、入力データ、システム連携、性能指標を一画面で統合管理します。
自由なしきい値設定による異常アラートに加え、本番障害に繋がる性能低下の予兆や、下流への影響を防ぐ上流データの変更も検知。課題が深刻化する前に、先手を打った対処を可能にします。リアルタイム監視、迅速なモデレーション、ブロック、カスタムアラートを自動化することで、信頼性の維持を実現します。
開発場所を問わず、すべてのエージェントをひとつの画面で。自社開発、サードパーティ製、既存のレガシー環境など、企業のAIは様々な場所で構築されます。DataRobotはOpenTelemetryに対応し、外部エージェントのトレース、ログ、メトリクスを直接取り込み可能です。どこで作成されたエージェントであっても、組織全体のAI資産を一箇所で可視化し、厳格にガバナンス管理できます。
静止しないAIエージェントのために設計された高度な監視。本番環境のエージェントは、単一の応答処理にとどまらず、数日間にわたり自律動作し、サブエージェントを動的に生成してタスクを遂行します。DataRobotは、単一リクエストの監視を超え、長期実行される一連のプロセス（トラジェクトリ）、サブエージェントの階層構造、外部ツールとの相互作用まで含めた完全な可視化を実現します。
最も重要な指標をカスタマイズして計測・管理GPUコストやROI、ユーザーのフィードバックなど、ビルトインまたは独自の指標を用いて重要なインサイトを一箇所で獲得できます。ニーズに応じたポリシー設定により、再学習、リスク緩和、アラート等の自動化も可能です。さらに、標準搭載のバリュートラッカーを活用することで、プロジェクト単位の費用対効果を正確に可視化し、的確な意思決定を支援します。
ユースケースの追跡、バージョン管理、整理: AI プロジェクトを構造化されたユースケースへと整理することで、透明性を高め、ナビゲーションを簡素化できます。ベクターデータベース、LLM、AI アプリ、ノートブックなど、すべての主要なアセットを自動で文書化してバージョン管理を行い、組み込みのロールベースのアクセス制御を適用することで、安全なコラボレーションとトレーサビリティを実現します。
エンドツーエンドのリネージをキャプチャ: 実験から実用化まで、AI 戦略のライフサイクル全体を追跡します。DataRobot は、データ変換、特徴量探索、LLM、ベクターデータベース、プロンプト戦略など、あらゆるものをパッケージ化しているため、すべてのデプロイをエンドツーエンドで容易に監査および追跡できます。
複雑な関係性を解釈: 地理空間モデルの説明やベクターデータベースのカバレッジ分析など、生成ユースケースと予測ユースケース全体にわたって複雑なデータ構造を可視化します。
プロンプトをトレースして評価: 自動生成されたトレーステーブルで迅速かつ的確なインサイトを得て、ベクターデータベースと生成 AI の応答を改善します。本番環境でのプロンプトに対する応答の品質、ユーザーからのフィードバック、PII フラグ、不正、カスタム指標を監視して、リスクをより適切に管理します。
本番環境でのプロンプトと応答を監視
カスタム指標により、否定的なフィードバック、ドキュメントのギャップ、改善の余地がある領域を明らかに
ベクターデータベース用のトレーステーブルを生成
キーワードとブロックされたプロンプトパターンをトレーステーブルでフィルタリング、検索、分類
ドリフトへの理解を深める: AI エージェント の埋め込みのドリフトや、予測モデルのテキストまたは位置情報のドリフトなどのドリフトパターンを特定して調査します。任意の特徴量と期間のスコアリングデータセグメント、またはスコアリングとトレーニングセグメントを可視化して比較します。時系列の予測値などのコンテキスト情報にアクセスして、根本原因を迅速に特定できます。
ベクターデータベースを高品質のまま維持: ベクターデータベースの正確性と整合性を保ちます。埋め込みのドリフトを監視し、メタデータ、ベンチマーク、検証結果など、主要なコンポーネントを追跡、バージョン管理、運用します。ツールを使用してギャップをすばやく特定し、デプロイ環境を中断することなくベクターデータベースを更新できます。
ベクターデータベースのバージョンとドキュメントを追跡
DataRobot で構築したベクターデータベース、または独自のベクターデータベースを管理
視覚的なベクターデータベースインサイトで品質を評価
新しいベクターデータベースバージョンでデプロイを自動的に更新
迅速な問題解決のために再トレーニングしてアラートを送信: 自動化された再トレーニングとチャレンジャーポリシーを活用して、最適なモデルを本番環境で安定的に運用できます。DataRobot 内での構築か外部での構築かに関わらず、本番環境のモデルとチャレンジャーモデルを容易に比較できます。リアルタイムアラートを設定することで、適切なチームがすばやく対処し、中断を最小限に抑えられます。
# Ensure the thread has finished
fit_thread.join()
print("Model fitting completed.")
# Save the model to filesystem
with open(model_output_path, 'wb') as pkl:
pickle.dump(rf, pkl)
print(f'Saved model to {model_output_path}')
retrained_custom_model_version = dr.CustomModelVersion.create_clean(
custom_model_id=custom_model.id,
folder_path=model_output_path,
base_environment_id=execution_environment_id,
training_dataset_id=dataset_id
)
print(f'Retrained model version_id = {retrained_custom_model_version.id}')
「オープンソースのソフトウェアでは、モデルの最適化に 2 週間から 1 カ月かかることもありました。また、モデル構築とその予測の基礎となるダイナミクスについて自分たちが説明できなければなりませんでした。」
「DataRobot の機械学習の豊富なブループリント、特徴量エンジニアリング手法、説明機能などは、AI の導入を拡大する BMW Group の AI プラットフォームの基盤となっています」