IT用語
生成AIへの入力に悪意のある指示を紛れ込ませ、本来のルールを無視させたり、意図しない動作をさせたりする攻撃。
プロンプトインジェクションは、生成AI への入力に悪意のある指示を紛れ込ませて、開発者が設定したルールを無視させたり、意図しない動作をさせたりする攻撃です。OWASP の LLM アプリケーション向けのリスクの一覧でも、上位に挙げられています。
主な種類
- 直接的なプロンプトインジェクション：利用者が入力欄に「これまでの指示を無視して…」などの指示を入力する
- 間接的なプロンプトインジェクション：AI が読み込む Webページ、メール、文書などに、見えにくい形で指示を埋め込んでおく
起きる被害
- システムプロンプトや、AI が扱う機密情報の漏えい
- AIエージェント が、メールの送信やファイルの削除など、意図しない操作を実行する
- 誤った情報や不適切な内容の出力
対策
完全に防ぐ方法はまだ確立されていないため、被害を小さくする対策を組み合わせます。
- AI に渡す権限やツールを必要最小限にする（最小権限）
- 重要な操作は、実行の前に人が確認する
- 外部から読み込んだ内容は、指示ではなくデータとして扱うよう区別する
- AI の出力をそのまま HTML として表示したり、コマンドとして実行したりしない
