AI のバイアスに取り組む

アルゴリズムバイアスは、AI の利用についての多くのディスカッションや討論の対象として、ますます重要性を増してきました。データ中のバイアスの存在を数学的に特定し、分析し、軽減する作業の潜在的な複雑さと、意思決定における「公平」の意味を決定することの社会的影響の両方の要因で、これは取り扱いが難しいトピックです。公平性は、価値観、倫理感、および法規制が反映されものですが、状況に応じて変化します。とは言え、AI の公平性の問題には、データとモデルを用いる明確なアプローチ方法があります。この方法に従えば、発見されたバイアスの問題について社内でディスカッションした後、可能な限りの軽減措置を実施できます。

公平性は社会的に定義された概念ですが、アルゴリズムバイアスは数学的に定義されます。モデリングにおけるバイアスと公平性の指標を見ると、モデルの動作がデータ内のグループごとにどう違うかがわかります。それらのグループは、人の集団である場合、人種、性別、年齢、退役軍人の地位など、保護すべき特性、または慎重に扱うべき特性によって識別される可能性があります。

AI システムにおけるバイアスの最大の原因は、トレーニングに用いられたデータにあります。そのデータによって、バイアスの過去のパターンがトレーニングの結果に反映される可能性があります。また、バイアスは、過去のプロセス自体ではなく、データ収集やサンプリングの特定の手法でグラウンドトゥルースが誤って伝えられたことで生じる場合もあります。結局のところ、機械学習はデータから学ぶものですが、そのデータは人間社会、つまり私たちの意思決定やシステムから得たものです。

データ内のグループによって動作が異なることについては、2 つの考え方があります。1 つは、誤差の公平性を確保することです。つまり、モデルがグループ間で同じ精度で動作し、あるグループが他のグループよりも著しく多くの予測誤差を被ることがないようにします。もう 1 つは、表現の公平性を確保することです。つまり、モデルが各グループに有利な結果を公平に割り当てるようにします。 

誤差と表現の公平性という広範なカテゴリーの中には、具体的な指標や個別のバイアステストが含まれており、測定しようとする対象を微妙な部分まで掘り下げ、理解するために役立ちます。たとえば、「割合の平等性」と呼ばれる バイアス指標では、表現の公平性がわかります。割合の平等性では、各グループが同じ割合で有利な結果を得ることが求められます。たとえば、履歴書の自動選考で、女性と男性の候補者がそれぞれ 25% の割合で選考を通過するようにします。公平性指標を変更する条件を導入することもできます。先ほどの例では、経験年数が同じ男性と女性の候補者が確実に同じ割合で履歴書の自動選考を通過するようにするといった条件を付けることができます。

誤差の公平性を測定するバイアス指標の場合、精度はさまざまな方法で測定できます。

  • 予測の平等性では、グループ間の未加工の精度スコア(結果が正しく予測された時間の割合)に注目します
  • 偽陽性率と偽陰性率の平等性では、各クラスでモデルの偽陽性率と偽陰性率を測定します

これらの指標では、モデルのバイアスに関連して測定するベンチマークが異なっていることに注意してください。グループ間の偽陽性率と偽陰性率の平等性スコアが低くても、予測の平等性が実現する場合があります。ユースケースで測定したい価値やインパクトを捉えられる適切な公平性指標を選択することが大切です。

DataRobot では、機械学習ワークフローの中でバイアスと公平性のテストを標準で実施できるよう、バイアスと公平性のツールスイートを AutoML プラットフォームに導入しました。

AI システムのバイアスには、モデリングワークフローの 3 つの段階で取り組むことができます。

  • 前処理の段階では、モデルのトレーニングに使用する前のトレーニングデータセットに対して、軽減手法を適用します。たとえば、データ行の重みを変更することで、結果の割り当てをより平等にすることができます。
  • 処理中の段階では、モデルのトレーニングプロセス自体に軽減手法を組み込みます。
  • 後処理の段階では、モデルの予測結果に有効な軽減手法を適用して、目的の公平性を達成します。

バイアスと公平性はパズルの 1 ピースにすぎません

バイアスと公平性は、信頼できる AI の倫理面において必要な要素の 1 つにすぎません。その他の要素には次のようなものがあります。

cta module 1920px

信頼できる倫理的な AI を今すぐ実現しましょう