分野2 AIの出力を検証する
2-2 出典・数値・固有名詞を確かめる手順
どこを、何と照らして確かめるか。コードや数式の場合
場面
鈴木さんは、AIが示した「2025年の国内市場規模は3,200億円(○○総研調べ)」を確かめることにしました。何から始めればよいでしょうか。
確かめるのは「事実」の部分
AIの出力をすべて同じ重さで確かめる必要はありません。文章の言い回しや構成は、読めば良し悪しが分かります。確かめる必要があるのは、読んだだけでは正しいかどうか分からない部分です。
出力の中から、次のものに印を付けます。
- 数字(金額、割合、日付、件数)
- 固有名詞(人名、会社名、製品名、制度名)
- 出典(資料名、URL)
- 引用(発言、条文、規約の文言)
- 「〜と定められている」「〜が義務である」といった断定
手順
1. 元の資料にあたる
出典が示されていれば、その資料を自分で探して開きます。確かめるのは3点です。
- その資料は実在するか。
- その数字や記述が、実際に載っているか。
- 時期・範囲・単位は合っているか(年度か暦年か、国内か世界か、億円か百万ドルか)。
出典が示されていなければ、公的機関や発行元の公式な資料を自分で探します。
2. 一次情報を優先する
同じ内容でも、情報源には信頼の差があります。
- 一次情報:官公庁の統計、法令の原文、企業の公式発表、論文そのもの
- 二次情報:それを紹介した記事、まとめサイト、個人のブログ
二次情報は、途中で数字が丸められたり、古い版が引かれていたりします。可能なかぎり一次情報で確かめます。
3. 別のAIに聞くのは、確認にならない
同じ質問を別のAIにして同じ答えが返ってきても、正しいとは限りません。似た文章から学んでいれば、同じ誤りをします。同じAIに「本当ですか?」と聞き直すのも同じです。確認は、AIの外にある資料で行います。
4. 確かめた記録を残す
どの資料の、どこで確かめたかを控えておきます。後から問われたときに説明でき、同僚も確かめ直せます。
コードや数式の場合
AIが書いたプログラムやExcelの数式は、見た目が正しそうでも、動かすと違う結果になることがあります。
- 小さな例で試す:答えが分かっているデータを入れて、結果が合うか確かめる。
- 端の場合を試す:空欄、ゼロ、マイナス、月末、うるう年など。
- 中身を読んで説明できるか:何をしているか自分で説明できないものは、業務に使わない。
- 取り消せない操作は特に慎重に:削除、上書き、送信、支払いを伴うものは、本番のデータで試さない。
要約や翻訳の場合
- 要約は、元の文章にない内容が加わっていないか、大事な条件や例外が落ちていないかを、元の文章と見比べて確かめます。
- 翻訳は、数字、固有名詞、否定(「〜ではない」)が正しく移っているかを重点的に見ます。
場面に戻ると
鈴木さんは「○○総研」の公式サイトを探しましたが、その調査は見つかりませんでした。代わりに、業界団体が公表している統計を見つけ、そこに載っていた数字を、資料名と公表年月を添えて提案書に書きました。AIの数字は使いませんでした。
確認問題
AIが「△△法の第12条では、事業者に年1回の報告が義務づけられています」と答えました。確かめ方として最も適切なものはどれですか。
- 同じAIに「本当ですか」と聞き、同じ答えなら正しいと判断する
- 別のAIにも同じ質問をして、答えが一致すれば正しいと判断する
- 法令の原文を公的なサイトで開き、第12条の内容を自分で読む
- その内容を紹介している個人のブログを探す
答え:C。 確認はAIの外にある一次情報で行います。AやBは、同じ誤りが繰り返されることがあります。Dは二次情報で、古い内容や誤りが含まれることがあります。
AIセキュリティ実務クイズ
Q1. 鈴木さんがAIの出力を確かめる際に最初に確認すべきことは何ですか?
- AIの出力に対する感情を評価する
- 元の資料が実在するかを確かめる ✓
- 別のAIに同じ質問をする
- 個人のブログを参考にする
Q2. 出典が示されていない場合、どのように情報を確認すべきですか?
- SNSで調べる
- 公的機関や発行元の公式な資料を探す ✓
- 友人に確認する
- 同じAIに聞き直す
Q3. AIが提供した数値が正しいかどうかを確かめるために、どの方法が最も適切ですか?
- 他の人に聞いてみる
- 同じ内容のニュースを探す
- 数値を記憶しているだけで判断する
- 公式な資料で数値を確認する ✓