最新のAIシステムは基本的にブラックボックスだ。一方の端からデータが入ると、もう一方の端から答えが出てくる。ところが、プログラマーがコードを眺めても、システムがなぜその答えを出したのか、理解するのが不可能であることが多いのだ。
2015年、ある研究チームが「Deep Patient」という名のAIシステムにおよそ70万人の健康・医療データを入力してみた。システムが疾患の発症を予測できるかどうかを調べるためだ。実際、Deep Patientは病気を予測したが、診断の理由は説明しない。研究者にも、AIがなぜその結論にたどり着いたのか、理解できなかった。医者には、コンピューターの診断を信じることも無視することもできるが、信じる場合は根拠のわからないまま信頼するしかない。