バイアスと公平性

モデルにバイアスがあるかどうかをテストし、パフォーマンスに影響が出る前に問題を修正します。

倫理と価値観を共有する AI

さまざまな業界での AI の爆発的な普及はとどまるところを知りません。機械学習モデルは現実世界でますます当たり前のものとなり、顧客、消費者、一般社会に広く影響を与えています。しかし、この爆発的普及にはマイナス面も少なからずあります。AI の用途が広がるにつれて、使用されるモデルの多くに意図しないバイアスが含まれていることがわかってきました。応募者を差別する雇用モデルが、その一例です。

DataRobot では、AI モデルとデータについて、動作・挙動やバイアスの有無をユーザーに把握してもらいたいと考えています。他社に類を見ないバイアスと公平性のツールセットでは、モデルにバイアスが存在するかどうかをテストできるため、根本原因分析で考えられる原因を特定するのに役立ちます。これにより、問題が顕在化する前に修正し、モデルのバイアスと精度の間で適切なトレードオフを行うことができます。

ユースケースごとに最適な公平性指標を選択する

バイアスと公平性のテストでは、最初に保護対象の特徴量を宣言し、これらの特徴量に対してモデルがバイアスのかかった動作を示すかどうかをテストします。DataRobot では、モデルバイアスの有無をチェックする際に、ユースケースに合った公平性指標を業界標準の 5 つの指標から選択することができます。どの公平性指標がユースケースに合っているかわからない場合は、説明付きの質問に答えることで、最適な指標を選択できます。

バイアスの有無をテストして、根本原因を把握する

トレーニングが完了したら、DataRobot が提供する多様なインサイトを基に、データセットで宣言した保護対象の特徴量に関してモデルの動作にバイアスがかかっているかどうかを確認できます。クラスごとのバイアスについてのインサイトでは、保護対象の各特徴量で、モデルの公平性スコアをクラスごとに確認できます。これは、モデルにどの程度のバイアスがかかっているのかを把握するのに役立ちます。クラス間のデータの相違についてのインサイトでは、バイアスの根本原因を理解することができます。ここでは、保護対象のクラスとそれ以外のクラスの間で、特徴量のデータに相違があるかどうかを調べ、その違いを把握します。また、バイアスと精度の比較では、さまざまなモデルでの精度とバイアスのトレードオフを確認できます。

実稼働モデルを対象としたプロアクティブなバイアス監視

モデルのデプロイ後、MLOps では、デプロイ作成後のクラスごとのバイアスを毎日グラフで確認できます。デプロイしたばかりの時点では、モデルにバイアスはないかもしれません。しかし、時間の経過とともに、動作にバイアスがかかるようになることもあります。このバイアスは、トレーニング時に検出されるとは限りません。MLOps では、モデルの構築時に選択したのと同じ公平性指標を使ってモデルを監視でき、モデルの動作があらかじめ設定したしきい値を下回るとアラートが出力されます。バイアスが検出された場合は、データドリフトに関するインサイトに基づいて、新しいデータがトレーニングで使用されたデータと異なっているかどうかを把握することで、根本原因を特定することができます。

バイアスの軽減によるリスクの最小化

効果的なモデルにするには、バイアスの軽減が欠かせません。DataRobot は、バイアスの軽減作業を簡素化するため、コーディング不要ですぐに使えるバイアス軽減ソリューションを導入しました。2 つのバイアス軽減ワークフローから選択できます。1 つ目は、DataRobot のバイアス軽減機能を自動的に実行して、見つかった上位 3 つのモデルの公平性を高める方法です。2 つ目は、ユーザーが選択した特徴量を用いて、個別のモデルが示すバイアスのかかった動作を手動で軽減する方法です。ユーザーは自由に、バイアス軽減がどのように実行されたかを詳しく把握したり、バイアス軽減対象の特徴量を選択したりできます。