仮定として、3年の就業経験を持つある女性は十分な信用に値し、別の男性はそうではないとしよう。アルゴリズムは性別データにアクセスすることで、この事実を正しく予測し、結果として3年の就業経験を持つ女性にローンを発行し、男性に対しては拒否する。

ところが、アルゴリズムが性別データにアクセスできない場合、3年の就業経験を持つ個人は男性である可能性が高いと学習する。結果的に、この個人を(男性であるがゆえに)望ましくない借り手であると予測し、3年の就業経験を持つすべての申請者に対してローンを拒否する。

これにより、利益になるローンの発行数が減る(ひいては収益性が悪化する)。女性へのローンを拒否する(結果的に差別を拡大する)という理由だけで、この現象が生じるのだ。

更新情報知らせます はい 不要