DataRobot によるバイアスと公平性のテストのご紹介

（このブログポストは Introducing DataRobot Bias and Fairness Testing の和訳です）

AI におけるバイアスと公平性の失敗

​​AI​ の爆発的な普及が、さまざまな​業界​​で最高潮に達しています。AI は今や、現実世界の至る所で活用され、顧客や消費者、および一般の人々に広く影響を与えています。それに伴い、AI のバイアスを原因とする、許容されない事例が数多く表面化しています。具体的には、男性と同等のスキルを持つ女性を差別する採用モデル、有色人種に不利な顔認証システム、黒人の被告の再犯率を誤って高めに予測したことで知られる再犯予測モデルの COMPAS などがあります。​

こうした失敗が起こるたびに、人間の生活に影響を与える重要な決定に AI を使用することに対する倫理的な批判や不満の声が高まっています。多くの人は、AI がこのようなバイアスを生み出すことを本質的に避けられないものとみなし、その原因をアルゴリズムが人間の価値観を共有、理解できないことにあると考えています。しかし、実際に AI が単独でこうしたバイアスを生み出すことはありません。AI は人間が作り出した制度にある暗黙のバイアスを露わにし、​人間の行動を模倣、増幅しているだけなのです。たとえば、女性を差別した採用モデルは、そのモデルが構築される前に企業の管理職によって行われていた採用決定のパターンを学習していました。

​しかし、実際には人間の行動を変えるより、アルゴリズムの意思決定を繰り返し分析し、最終的に変更を加える方がはるかに簡単です。DataRobot​ では、AI に関わるすべての人に大きなチャンスと責任があると考えています。意思決定におけるバイアスは、専用の​データサイエンスツール​を使用することで理解できるようになります。それによって、より倫理的な AI を作り出すだけでなく、人間が作った制度に潜む、まだ気づかれていないバイアスを明らかにし、改善を図ることが可能になります。​

DataRobot で AI のバイアスと公平性に取り組む

DataRobot 6.3* で、AI のバイアスを評価および理解し、最終的に軽減できるように特別に設計された公平性ツールセットをリリースしました。​

バイアスから保護したい属性をデータセットで選択する。

AI のバイアスに対処するには、まず​​モデル​​内で個人が公平に扱われるようにする属性を定義する必要があります。このような人々のグループは、多くの業界や国で法律によって保護されており、多くの場合、性別、人種、年齢、宗教などが含まれています。DataRobot でこれらのグループの特徴量を選択して、バイアスと公平性のテストを実行できるようになりました。

DataRobot はユースケースに適した公平性指標の選択を支援する。

精度の指標と同じく、公平性を測定する方法は何十種類もあり、定義ごとに適切なユースケースが異なっています。たとえば、AI を利用して効果的な薬剤を処方している医療機関と、AI を活用した採用モデルの公平性を確認しようとしている会社の人事部門とでは、使用する公平性の定義が異なるでしょう。

ただし、精度の指標と同じく、公平性の指標でも、ごく少数の指標がバイアスと公平性のユースケースの大部分をカバーしています。DataRobot では、あらゆるユースケースで、最も一般的な 7 つの公平性指標のいずれかを選択できます。公平性のどの定義を選択するべきかわからない場合は、ガイド付きワークフローを利用できます。ガイドに従って、特定のユースケースの倫理性と影響に関する質問に答えるだけで、公平性の定義の候補が表示されます。

いくつかの公平性の定義の中からある定義が候補として推奨された理由がわかるように、それぞれの質問と推奨内容について説明があります。また、特定の公平性の定義でモデルが個人に及ぼす影響についても説明されます。

モデルのバイアスを特定し、理解するのに役立つインサイトを自動で構築する。

DataRobot 6.3 では、バイアスと公平性について 3 つの新しいインサイトを提供しています。

クラスごとのバイアス

クラスごとのバイアスチャートには、​保護対象グループでモデルにバイアスがかかっていないかどうか、またどのようにバイアスがかかっているか（バイアスがある場合）が、選択した公平性の定義に基づいて表示されます。

クラス間のデータの相違

クラス間のデータの相違チャートを使用すると、モデルのバイアスを深く掘り下げ、​モデルによる保護対象グループの取り扱いがグループによって異なる理由を把握できます。このチャートでは、すべての保護対象グループのデータ分布を比較し、モデルがデータのどの部分でそのバイアスを学習している可能性があるのかを発見できます。さらに、クラス間のデータの相違に関するインサイトによって、どのようなバイアス軽減戦略が適用できるのかを判断できます。たとえば、保護対象グループの 1 つでデータ収集がうまくいかず、重要な特徴量に対する欠損値が多いことが、そのグループに対するモデルの取り扱いが異なる理由であることが判明する場合があります。このようなインサイトに基づいて、データの収集やサンプリングの手法を改善すれば、基盤となるデータで見つかったバイアスを最終的に軽減できます。

リーダーボードモデルのバイアスと精度を比較

バイアスと精度のグラフを使用すると、複数のリーダーボードモデルを一度に比較して、公平かつ精度の高いモデルを選択できます。

要約

最終的には、バイアスと公平性のテストを AI プロジェクトに欠かせない定型作業にする必要があると、DataRobot では考えています。当社では、誰もが倫理的な AI を具体的かつ体系的に実装できるようにするため、バイアスと公平性のテストを簡単に実行できるツールの開発に取り組んでいます。

バイアスと公平性のテストを今すぐ始める

​バイアスと公平性のテストは、マネージドクラウドプラットフォームでの ​​ DataRobot AutoML 6.3​​に搭載されている機能です。すでに DataRobot をご利用のお客様は、カスタマーサポートチームに問い合わせて、自社のアカウントでこの機能を有効にするよう依頼してください。DataRobot 6.3をオンプレミスまたはプライベートクラウドで実行している場合は、DataRobot アカウントチームが有効化を支援いたします。​

DataRobot のバイアスと公平性のテストに関する詳細

また、DataRobot コミュニティ​​に参加して、DataRobot 6.3 の詳細情報を入手したり、この素晴らしい機能のデモを視聴したりすることができます。​

* 日本ではリリース7.0より提供

執筆者について

Jett Oristaglio（ジェット・オリスタリオ）

データサイエンスおよびプロダクトリード

Jett Oristaglio は、DataRobot において信頼できる AI のデータサイエンスおよびプロダクトリードを務めています。認知科学、特にコンピュータービジョンと脳神経倫理学の専門知識を持っています。DataRobot では、「AI システムに私たちの生活を託すには何が必要なのか？」という問いへの答えを見つける取り組みに注力しています。

Jett Oristaglio（ジェット・オリスタリオ） についてもっとくわしく