分野3 AIを狙った攻撃に気づく
3-3 AIエージェントに与える権限と、止め方
AIが自分で操作するとき、被害を小さくする考え方
場面
営業企画の山本さんは、メールの受信箱を整理してくれるAIアシスタントを使い始めました。メールを読み、返信の下書きを作り、送信し、予定表に登録するところまで、すべて任せる設定にしています。ある朝、送信済みフォルダを見ると、見覚えのない宛先に、社内の資料を添付したメールが送られていました。
「答えるAI」と「動くAI」
これまでのAIは、質問に文章で答えるものでした。最近は、AIが自分で道具を使って作業を進めるものが増えています。これをAIエージェントと呼びます。
- メールを読んで、返信を送る
- ファイルを開いて、編集し、保存する
- Webサイトを開いて、フォームに入力する
- 予定を登録する、買い物をする
便利ですが、危険の大きさが変わります。答えるだけのAIなら、だまされても誤った文章が表示されるだけです。動くAIがだまされると、実際の操作が行われます。
危険がそろう3つの条件
次の3つがそろうと、被害が起きやすくなります。
- 外部の内容を読む:メール、Webページ、受け取ったファイル
- 機密に触れられる:社内の文書、受信箱、顧客情報
- 外に出す手段がある:メールの送信、Webへのアクセス、ファイルの共有
外から届いたメールに仕込まれた指示(3-1で学んだプロンプトインジェクション)によって、AIが社内の文書を読み、それを外部に送る。山本さんの場面で起きたのは、この流れです。
権限は、必要な分だけ
AIに与える権限は、その作業に必要な最小限にします。
- 読むだけで足りるなら、書き込みや送信の権限は与えない。
- 受信箱すべてではなく、必要なフォルダだけにする。
- 仕事に関係のないサービスとは連携させない。
- 使い終わった連携は解除する。
取り消せない操作は、人が確認する
次のような操作は、AIに自動で実行させず、実行の前に人が内容を確かめる設定にします。
- メールやメッセージの送信
- ファイルの削除、上書き
- 外部への共有、公開
- 支払い、注文、契約
- 設定や権限の変更
確認の画面が出たら、内容を読まずに「許可」を押さないことが大切です。何度も出るからと流れ作業で押していると、確認の意味がなくなります。
おかしいと思ったら、止める
AIが頼んでいないことを始めたら、次の順で対応します。
- 止める:実行を中止する。停止ボタンを押す、会話を終える。
- 切り離す:AIとサービスの連携を解除する。
- 確かめる:何が実行されたか、履歴や送信済みの内容を確認する。
- 報告する:何を任せていたか、何が起きたかを社内の担当に伝える。
自分で原因を突き止めようとして時間をかけるより、まず止めて報告することを優先します。
場面に戻ると
山本さんは、AIに「外部のメールを読む」「社内の資料に触れる」「メールを送る」の3つをすべて、確認なしで任せていました。まず連携を解除し、送信された内容と宛先を確かめ、すぐに情報システム部門に報告します。今後使う場合は、送信の前に必ず自分で確認する設定にします。
確認問題
AIエージェントにメールの整理を任せるとき、最も適切な設定はどれですか。
- 便利さを優先し、読む・書く・送る・削除するをすべて自動で許可する
- 下書きの作成までを任せ、送信と削除は自分で内容を確かめてから行う
- 確認の画面が毎回出るのは手間なので、すべて「常に許可」にする
- 外部からのメールも社内の機密文書も、同じ権限でまとめて扱わせる
答え:B。 送信や削除のように取り消せない操作は、人が確認してから実行します。権限は必要な最小限にとどめます。
AIセキュリティ実務クイズ
Q1. AIエージェントにメールの整理を任せるとき、最も適切な設定はどれですか。
- 常に確認なしで許可する設定にする
- 外部メールと社内機密文書を同じ権限で扱う
- メールを読むことを許可し、他はすべて自動で許可する
- 下書きの作成までを任せ、送信は自分で確認する ✓
Q2. AIが実行する操作で、事前に人が確認すべきものはどれですか。
- 予定の登録
- データの読み込み
- ファイルの開封
- メールの送信 ✓
Q3. AIが頼んでいないことを始めた場合、最初に行うべきことは何ですか。
- 実行を中止する ✓
- すぐに報告する
- AIを再起動する
- 履歴を確認する