一覧 / AIセキュリティ実務 2026年版:業務で生成AIを安全に使う / 2-1 なぜAIはもっともらしく間違えるのか

2-1 なぜAIはもっともらしく間違えるのか

誤りが生まれる仕組みと、誤りが出やすい場面

レッスン 5 / 19

場面

企画部の鈴木さんは、提案書に載せる市場規模の数字をAIに尋ねました。AIは「2025年の国内市場規模は3,200億円(○○総研調べ)」と答えました。数字も出典も具体的で、いかにも正しそうです。鈴木さんは、そのまま提案書に書き込もうとしています。

AIは「調べて」答えているわけではない

生成AIは、大量の文章から言葉のつながり方を学んだ仕組みです。質問を受けると、それらしい続きの文章を作ります。事実が記録された台帳を引いているわけではありません。

そのため、正しい内容と同じ自然さで、誤った内容も出てきます。これを「ハルシネーション」と呼びます。AIは嘘をつこうとしているのではなく、正しいかどうかを自分で確かめる仕組みを基本的に持っていないのです。

大切なのは、文章が流暢であることと、内容が正しいことは関係がないという点です。自信のある言い切りも、具体的な数字も、正しさの証拠にはなりません。

誤りが出やすい場面

次のような内容は、特に誤りが起きやすいことが知られています。

  • 数字:金額、割合、日付、順位、統計
  • 固有名詞:人名、会社名、製品名、書名、論文名
  • 出典:「○○によると」と示される資料名やURL。実在しない資料が示されることがあります。
  • 引用:誰かの発言や、法律・規約の文言
  • 新しい出来事:AIが学習した時点より後のこと
  • 専門性が高く情報の少ない分野:業界の細かい慣行、地域の制度、自社の事情
  • 計算:桁の多い計算、複数の手順がある集計

検索できるAIなら正しいのか

Webを検索して答えるAIもあります。出典のリンクが付くので確かめやすくなりますが、次の点は残ります。

  • 参照したページそのものが誤っていることがある。
  • ページの内容を、AIが読み違えて要約することがある。
  • リンク先に、その内容が実際には書かれていないことがある。

リンクが付いていることは、確かめたことにはなりません。リンクを開いて、自分の目で読むところまでが確認です。

質問の仕方で、誤りは増える

  • 前提が誤っている質問:「2019年に改正された○○法の罰則は?」と聞くと、その改正がなくても、あったものとして答えることがあります。
  • 答えを誘導する質問:「〜ですよね?」と聞くと、同意する答えが返りやすくなります。
  • 「分からない」と言いにくい頼み方:「必ず5つ挙げて」と頼むと、3つしかなくても5つ作ることがあります。

場面に戻ると

鈴木さんが受け取った「3,200億円(○○総研調べ)」は、数字・固有名詞・出典という、誤りが出やすい3つがそろっています。その調査が実在するか、その数字が載っているかを確かめるまで、提案書には書けません。確かめ方は次のレッスンで学びます。

確認問題

AIの回答について、正しい説明はどれですか。

  1. 具体的な数字と出典が示されていれば、正しいと考えてよい
  2. 文章が自然で自信のある言い方なら、誤りは少ない
  3. 文章の自然さと内容の正しさは関係がなく、数字や出典は特に確かめる必要がある
  4. Webを検索して答えるAIの回答は、確かめる必要がない

答え:C。 AIは、正しい内容と同じ自然さで誤った内容も作ります。出典そのものが実在しないこともあります。検索できるAIでも、参照先の誤りや読み違いは起こります。

AIセキュリティ実務 2026年版クイズ

Q1. AIの回答について、正しい説明はどれですか。
  • 文章の自然さと内容の正しさは関係がなく、数字や出典は特に確かめる必要がある ✓
  • 文章が自然で自信のある言い方なら、誤りは少ない
  • 具体的な数字と出典が示されていれば、正しいと考えてよい
  • Webを検索して答えるAIの回答は、確かめる必要がない
Q2. AIが誤りを生じやすい場面として、どれが該当しますか?
  • 一般的なニュース記事
  • 広く知られた歴史的事実
  • 公的な統計データ
  • 専門性が高く情報の少ない分野 ✓
Q3. 鈴木さんが受け取ったAIの回答のどの部分が特に誤りやすいですか?
  • 提案書の目的が明確であること
  • 数字、固有名詞、出典が含まれていること ✓
  • 市場規模の説明が詳しいこと
  • AIの回答が迅速であること

このレッスンをシェアする

このコースを無料で受講

アカウント登録(無料)でこのコースの全レッスンに今すぐアクセスできます。

無料で登録する ログインして続ける

AIセキュリティ実務 2026年版:業務で生成AIを安全に使う

分野2 AIの出力を検証する


コース一覧に戻る