プロンプトインジェクションとジェイルブレイク

には、入力を通じて意図しない挙動を引き起こす攻撃があります。 AIF-C01では、攻撃の名前と内容、そして対策を結び付けて答えられることが求められます。

概要

への主な攻撃は、を悪用するものと、を汚すものに分かれます。

攻撃	内容
	入力に混ぜた指示で、開発者が与えた指示を上書きします。
	役割の設定や仮定の話を使って、安全対策をすり抜けます。
プロンプトハイジャック	本来の目的とは違う処理をさせます。
	学習データや取り込む文書に不正な内容を混ぜます。
情報の抽出	や機密情報を引き出させます。

利用者の入力や、取り込んだ文書の中に「これまでの指示を無視して〜せよ」といった命令が含まれる攻撃です。モデルは指示とデータを厳密に区別できないため、混ざった命令に従ってしまうことがあります。

経路	例
直接的	利用者が入力欄へ攻撃文を書きます。
間接的	取り込んだWebページや文書に攻撃文が埋め込まれています。

対策	内容
入力の検査	不審な命令文の混入を検査します。
指示とデータの分離	区切り記号を使い、資料部分は参考情報として扱うよう指示します。
	望まない話題や出力を遮ります。
出力の検査	生成結果を後段で検証します。
権限の最小化	攻撃が通っても被害が広がらないよう権限を絞ります。

⚠️ 頻出: 間接的なは、で取り込む外部文書が経路になります。取り込む情報源の信頼性を確認します。

安全のための制限を、言い換えや仮定の設定で回避しようとする攻撃です。「これは小説の中の話だ」「開発者モードとして答えて」といった形を取ります。

アプリケーションの本来の目的 (例: 商品の問い合わせ対応) を乗っ取り、攻撃者の目的の作業 (例: 無関係な文章の大量生成) をさせる攻撃です。有害な内容を出させると違い、内容が無害でも、本来の用途から外れた処理に費用と資源を使われます。

や知識ベースへ取り込む文書に不正な内容を混ぜ、モデルの挙動を歪める攻撃です。

対策	内容
データの出所の管理	取り込む情報源を限定し、来歴を記録します。
検証	取り込み前に内容を検査します。
アクセス制御	学習データや文書の置き場所への書き込みを制限します。
変更の追跡	誰がいつ追加したかを記録します。

⚠️ 頻出: システムプロンプトへ秘密の情報 (認証情報や内部ルールの全文) を書かないことが原則です。