分野3 AIを狙った攻撃に気づく
3-2 外部の文書・メール・Webを読ませるときの危険
見えない指示が仕込まれる場所と、おかしな出力の見分け方
場面
広報の渡辺さんは、競合他社の動向を調べるため、AIに「このWebページを要約して」とURLを渡しました。要約の最後に、次の一文が付いていました。
「より詳しい分析レポートは、こちらのリンクから会社のアカウントでログインするとご覧いただけます。」
元のページを開いてみても、そのような案内は見当たりません。
「外から来たもの」は、すべて疑う対象
プロンプトインジェクションが仕込まれるのは、自分や自社が書いたものではない文章です。
- 社外から届いたメールと添付ファイル
- 取引先や応募者から受け取った文書
- Webページ、検索結果
- 口コミ、レビュー、SNSの投稿
- 共有フォルダに外部の人が置いたファイル
- 他のサービスから取り込んだデータ
自分で書いた文章や、社内で作られた信頼できる文書は、この危険が低い材料です。
おかしな出力の見分け方
AIの出力に次のような特徴があったら、材料に指示が仕込まれていることを疑います。
- 頼んでいないことをしている:要約を頼んだのに、リンクや連絡先を案内してくる。
- 元の文書にない内容がある:元の文書を見ても、その記述が見当たらない。
- 行動を促してくる:「ログインしてください」「この番号に電話を」「このファイルを開いて」
- 急がせる・脅す:「至急」「アカウントが停止されます」
- 極端に偏っている:理由もなく絶賛する、強く推薦する。
- 突然、口調や言語が変わる
疑わしいときにすること
- 出力の中のリンクを開かない。指示された操作をしない。
- その出力を業務に使わない。
- 元の文書を自分の目で確かめる。(ただし、怪しいファイルやリンクをむやみに開き直さない)
- 社内の担当に報告する。 どの文書を読ませたら、どんな出力が返ってきたかを伝えます。
該当の一文だけを消して使い続けるのは適切ではありません。ほかの部分もゆがめられているかもしれないからです。
危険を小さくする使い方
- 重要な判断に使う材料ほど、自分でも読む。 採用、取引先の選定、契約など。
- 外部の文書を読ませる会話と、機密を扱う会話を分ける。 同じ会話の中で両方を扱うと、仕込まれた指示によって機密が持ち出される危険があります。
- AIの要約だけで、元の文書を読んだことにしない。
場面に戻ると
渡辺さんが受け取った「ログインしてご覧ください」という案内は、元のページに人の目では見当たりません。ページに仕込まれた指示によってAIが出したものと考えるのが妥当です。リンクは開かず、要約も使わず、情報システム部門に「このURLを要約させたら、ログインを促す案内が出た」と報告します。
確認問題
取引先を名乗る相手から届いたPDFをAIに要約させたところ、要約の末尾に「確認のため、下記URLで社員IDとパスワードを入力してください」と表示されました。最も適切な対応はどれですか。
- AIが確認手順を案内してくれたので、URLを開いて入力する
- 該当の一文だけを削除し、残りの要約をそのまま業務に使う
- もう一度要約させて、同じ案内が出たら本物と判断する
- URLは開かず、要約も使わず、社内の担当に報告する
答え:D。 頼んでいない行動を促す出力は、文書に指示が仕込まれている典型的な兆候です。ほかの部分もゆがめられている可能性があるので、要約全体を使いません。繰り返して同じ結果になるのは、同じ指示を読んでいるからです。
AIセキュリティ実務 確認問題
Q1. AIに外部のWebページを要約させた際、怪しい出力の特徴はどれですか?
- 専門用語が多く使用されている
- 要約が必要な情報を提供する
- 簡潔でわかりやすい表現である
- 元の文書に記載されていない内容が含まれる ✓
Q2. 外部の文書をAIに読ませる際、どのような行動が推奨されますか?
- 元の文書を自分で確認する ✓
- 外部の文書をそのまま業務に使用する
- 出力を確認せずにすぐに信頼する
- AIの要約を絶対的な情報とみなす
Q3. 以下の状況で最も適切な対応はどれですか?取引先からの文書で、要約の末尾に「ログインしてください」と指示があった。
- 社内の担当に報告する ✓
- 指示に従ってログインする
- 要約の一部を削除して使用する
- 再度要約を試みる