アマゾン・ドットコムの採用決定プロセスを考えてみよう。
データサイエンティストのチームは面接対象者の選考プロセスの効率化を目指し、応募者の業務遂行能力を予測するために、履歴書のデータを用いてMLアルゴリズムを訓練した。
このアルゴリズムは、人間による意思決定の場合と同じように差別を防ぐため、性別と名前が削除された現役社員らの履歴書(個人データ)で訓練された。
結果は、狙いとはまったく逆になった。女性は、同等のスキルを持つ男性に比べて業務遂行能力が著しく低いとアルゴリズムが予測する形で、女性を差別したのである。