ハルシネーションの問題には、強調すべきいくつかの重要な側面がある。
第1に、LLMの主張の真実性を確認する作業は、自動化できない。主張を現実と照合するプログラムを実行できるソフトウェアはない。主張の真偽の確認は、人間の手で行う必要がある。
第2に、人々はソフトウェアプログラムのアウトプットを信用しやすい。実際、この傾向は「自動化バイアス」と名がつくほど強く根づいている。したがって人の手による確認は、自動化バイアスによる負の影響に対抗するためにも、行われなくてはならない。
この問題は、LLMがしばしば示す権威がありそうなトーンによって悪化する。LLMはあまりに頻繁に間違えるだけでなく、あまりにも自信を持ちながら間違えるのだ。