IT用語
生成AIが、事実と違う内容や存在しない情報を、もっともらしく出力してしまう現象。
ハルシネーションは、生成AI が、事実と違う内容や存在しない情報を、もっともらしく出力してしまう現象です。「幻覚」を意味する英語に由来します。
例
- 存在しない論文や記事、URL を引用する
- 実在しない関数やオプションを使ったプログラムのコードを書く
- 製品のバージョンや日付、数値を間違える
- 存在しないパッケージ名を提案する（攻撃者がその名前で不正なパッケージを公開する手口もある）
なぜ起きるのか
LLM は、正しいかどうかを確かめながら答えているのではなく、もっともらしい言葉の並びを予測して文章を作っているためです。学習したデータにない内容や、あいまいな質問で起きやすくなります。
減らすための工夫
- 質問の前提や条件を具体的に伝える
- 根拠になる資料を渡す（RAG など）
- 出典を示させ、その出典を自分で確かめる
- 分からないときは「分からない」と答えるよう指示する
注意点
工夫をしてもハルシネーションを完全になくすことはできません。セキュリティの情報やコマンド、法律に関わる内容などは、必ず一次情報で確かめます。