技術情報AI
「AIに聞けば何でもわかる」は危ない？生成AIが苦手な5つのこと
ハルシネーションが起きる理由から、仕事で使う前に決めておくことまでまるっと解説！
取引先との打ち合わせの前に、生成AIに業界の動向をまとめてもらう。返ってくるのは、数字も社名もそろった読みやすい文章です。しかし、その数字がどの資料に載っていたのかは、回答のどこにも書かれていません。
ChatGPTを提供するOpenAIの研究者は、2025年9月の論文で、言語モデルは不確かなときにも推測で答えるように学習・評価されている、と説明しています。つまり生成AIは、知らないことも、知っているときと同じ口調で答えるのです。
この記事のポイント
生成AIは、実在しないものまでもっともらしく答える
ニューヨークの裁判では、ChatGPTで調べた実在しない判例6件を書面に引用した弁護士に、5,000ドルの制裁金が科されました。
苦手な5つのことは「確かめる・補う・決める」の3つで対処する
事実は出典で確かめ、最新の情報や社内の情報は検索や資料で補い、外に出す回答はだれが確かめるかを決めておきます。
AIの回答の責任は、AIを使った会社が負う
エア・カナダは、チャットボットが誤って案内した運賃の規定について、812.02カナダドルの支払いを命じられました。
01生成AIとは？検索エンジンとの違い
生成AIは、文章や画像、音声などを新しく生成するAIの総称です。ChatGPT・Gemini・Claudeのような対話型の生成AIの中心には、大量の文章から言葉のつながりを学習した大規模言語モデル（LLM）があります。LLMは、文章の続きとして「次に来る言葉」を予測することをくり返して、回答の文章を組み立てます。
そのため、生成AIは質問のたびにデータベースを引いて答えているわけではありません。調べものの道具として検索エンジンと比べると、答えの作り方が大きく違います。
| 道具 | 答えの作り方 | 得意なこと | 苦手なこと |
|---|---|---|---|
| 検索エンジン | Web上にあるページを探し、関連する順に並べる | 情報の出どころ（ページ）にたどり着く | 複数のページを読んでまとめる作業は、人が行う |
| 生成AI（対話型） | 学習した言葉のつながりから、次に来る言葉を予測して文章を生成する | 要約・言い換え・下書き・アイデア出し | 事実の正確さの保証、回答の根拠の提示 |
| 検索つきの生成AI | 質問に合わせてWebを検索し、見つけたページをもとに文章を生成する | 新しい情報を、出典のリンクつきでまとめる | 検索で見つけたページが誤っていれば、その誤りも回答に入る |
検索エンジンが本の置き場所を教えてくれる図書館の司書だとすると、生成AIは、たくさんの本を読んだ人が記憶だけで話している状態に近いでしょう。記憶違いがあっても、話しぶりは変わりません。
生成AIの回答を仕事に使うなら、苦手なことを知ったうえで、事実を確かめる・足りない情報を補う・最後の判断を人が決めるの3つをそろえておく必要があります。次の章の5つの苦手は、この3つのどれかで対処できます。
02生成AIが苦手な5つのこと
記憶だけで話す相手にも、答えやすい質問と答えにくい質問があります。生成AIが苦手なのは、次の5つです。
| 苦手なこと | 起きる理由 | 起きやすい場面 |
|---|---|---|
| ①事実と違う内容を、もっともらしく答える | 分からないときも推測で答えるように学習・評価されている | 人名・数字・日付、論文や判例の引用 |
| ②学習した時点より新しいことを知らない | 学習に使ったデータに期限（知識のカットオフ）がある | 法改正、価格、新しい製品やサービス |
| ③文字数や計算を正確に数えられない | 文章を文字ではなく「トークン」の単位で処理している | 「120字で」の指定、表の合計や集計 |
| ④社内の情報や個別の事情を知らない | 公開されていない情報は学習していない | 社内規定、自社製品の仕様、取引先ごとの条件 |
| ⑤答えに責任を持てない | 回答の責任は、AIを使った人や会社が負う | 契約・料金・安全に関わる案内 |
①は、ハルシネーション（幻覚）と呼ばれる現象です。OpenAIの研究者の論文では、原因の一つを評価のしかたに求めています。選択式のテストで、空欄にするより当てずっぽうで書いたほうが点を取れるのと同じで、「分かりません」と答えるより推測で答えるほうが高く評価されてきたためです。回答の口調の自信と、内容の正しさは関係がないわけです。
②の知識の期限は、各社が公開しています。たとえばAnthropicは、Claude Opus 4.6は2025年8月までのデータで学習したとし、それより後の出来事を知らない可能性があると明記しています。
③は意外に思われるかもしれません。生成AIは、文章を「トークン」という単位に分けて処理します。OpenAIのヘルプでは、トークンは1文字のこともあれば1単語のこともある、と説明しています。文字を1つずつ数える処理は、しくみの上で得意な作業ではありません。
④と⑤は、モデルが学習した知識の量とは関係のない苦手です。社内の資料はAIに渡さない限り回答に反映されませんし、回答が誤っていたときに責任を問われるのは、AIではなくAIを使った側だからです。
マーケターのひとこと
記事の説明文や広告文を「120字で」と頼んでも、仕上がりが100字や140字になることがあります。③の苦手がいちばん身近に出る場面かもしれません。字数に上限がある媒体に入れる文章は、生成AIに書かせたあと、文字カウントの機能で数え直すのが確実です。
03生成AIの誤った回答が問題になった3つの例
5つの苦手は、実際の業務でどのような問題になるのでしょうか。裁判、顧客対応、製品の発表で起きた3つの例があります。
ニューヨークの裁判：実在しない判例を引用した弁護士に5,000ドルの制裁金
航空会社アビアンカを相手にした損害賠償の裁判（Mata v. Avianca）で、原告側の弁護士はChatGPTで判例を調べ、裁判所に提出する書面を作成しました。ところが、書面に引用した判決のうち6件は実在しないものでした。
2023年6月22日、ニューヨーク南部地区連邦地方裁判所のP・ケビン・カステル判事は、弁護士と法律事務所に5,000ドルの制裁金を科しました。さらに、架空の判決の書き手として名前を使われた実在の裁判官たちに、判決文と審理の記録を送るよう命じています（Bloomberg）。引用を作ったのがAIでも、裁判所は、原典を確かめずに提出した弁護士の責任として処分したことになります。
エア・カナダ：チャットボットの誤った案内に会社が賠償
2022年11月、祖母を亡くした利用者が、エア・カナダのWebサイトのチャットボットに忌引き運賃について質問しました。チャットボットは、あとから申請すれば忌引き運賃が適用されると案内しましたが、実際の規定では、さかのぼっての申請は認められていませんでした。
カナダ・ブリティッシュコロンビア州の民事解決審判所は、2024年2月14日、エア・カナダに812.02カナダドルの支払いを命じました。エア・カナダは、チャットボットの案内について会社は責任を負わないと主張しています。これに対して審判所は、チャットボットも会社のWebサイトの一部であり、サイト上のすべての情報に会社が責任を負うと判断しました。社内規定（④）を正しく反映していないAIの案内でも、利用者から見れば会社の案内そのものだということです。
Google Bard：発表の誤答で親会社の時価総額が約1,000億ドル減少
2023年2月、Googleは対話型AI「Bard」（現在のGemini）の発表で、Bardが「ジェームズ・ウェッブ宇宙望遠鏡が、太陽系の外の惑星（系外惑星）を初めて撮影した」と答える画面を公開しました。しかし、系外惑星を初めて撮影したのは、2004年のヨーロッパ南天天文台（ESO）の超大型望遠鏡（VLT）です。誤りが指摘された2月8日、親会社Alphabetの株価は取引時間中に最大9%下がり、時価総額は約1,000億ドル減少しました（NPR）。
04生成AIの苦手を補う4つの方法と選び方
3つの例はいずれも、AIの回答をだれも確かめないまま、裁判所や顧客、市場に出したことで問題になりました。では、確かめる前の段階で、苦手そのものを補う方法はあるのでしょうか。主な方法は次の4つです。
| 方法 | しくみ | 補える苦手 | 注意点 |
|---|---|---|---|
| Web検索つきの生成AI | 質問に合わせてWebを検索し、見つけたページをもとに回答する | ②新しい情報、①の確認（出典のリンク） | 検索したページの誤りも回答に入る。出典のページを開いて確かめる |
| 資料を添付して質問する | 回答のもとにしてほしい資料を、質問と一緒に入力する | ④社内の情報 | 入力してよい資料かどうかを、社内のルールと利用規約で確かめる |
| RAG（検索拡張生成） | 社内の文書を検索するしくみをつくり、見つけた箇所をもとに回答させる | ④社内の情報、①の確認（元の文書の表示） | 文書が古ければ答えも古くなる。もとになる文書の整備と更新が必要 |
| 計算・集計を別の道具で行う | 表計算ソフトや、生成AIのプログラム実行の機能で計算する | ③文字数や計算 | 生成AIに作らせた計算式が正しいかは、人が確かめる |
総務省と経済産業省の「AI事業者ガイドライン（第1.2版）」も、RAGの活用によって、ハルシネーションの抑制や、回答の根拠の透明性の向上が期待されるとしています。ただし「期待される」という書き方のとおり、RAGを使ってもハルシネーションはなくならない点に注意が必要です。回答と一緒に元の文書の該当箇所を表示させ、人が照合できるようにしておきます。
どの方法を選ぶかは、何を補いたいかで決まります。
- 最新の情報を調べる：Web検索つきの生成AIを使い、回答に付いた出典のページを開いて、数字や日付を照合します
- 社内の規定や資料にもとづいて答えさせる：資料が数件なら添付で足ります。同じ種類の質問がくり返し来る窓口なら、RAGのしくみを作る価値があります
- 文字数・合計・集計を出す：数えるのは文字カウントや表計算ソフトに任せ、生成AIには式や手順を考えさせます
- 契約・料金・安全に関わる回答を出す：どの方法を使っても、AIの回答をそのまま外に出さず、人が確かめてから出します
サービスごとの特徴の違いは、Claudeとは？ChatGPTと比較しながら分かる特徴＆使いどころでも解説しています。
マーケターのひとこと
検索つきの生成AIは、回答の文末に出典のリンクを付けてくれます。リンクが付いているだけで安心してしまいがちですが、開いてみると、回答の数字がそのページのどこにも書かれていないこともあるんです。出典が付いていることと、出典が内容を裏付けていることは別の話なので、リンク先で、回答の数字が書かれた一文を探すところまでやっておきたいですね。
05生成AIを仕事で使う前に社内で決めておくこと
①〜④は道具で補えますが、⑤の「答えに責任を持てない」は、道具では補えません。だれが確かめ、どこまでをAIに任せるかは、使う側の会社が決めることです。
AI事業者ガイドライン（第1.2版）は、AIの利用者に対して、出力の精度とリスクの程度を理解したうえで使うこと、個人情報や機密情報を不適切に入力しないことを求めています。あわせて、AIの出力を人が疑わずに受け入れてしまう自動化バイアスにも注意を促しています。
社内で決めておきたいことを、理由と合わせてまとめると次のとおりです。
| 決めておくこと | 理由 |
|---|---|
| 生成AIに入力してよい情報と、入力しない情報（個人情報、取引先の機密など） | 入力した情報の扱いは、使うサービスや契約の条件によって変わる |
| AIの回答を社外に出す前に、確かめる人と確かめる項目 | エア・カナダの例のように、回答の誤りは会社の責任として扱われる |
| 生成AIを使ってよい業務と、使わない業務 | 契約・料金・安全など、誤ったときの影響が大きい業務を分けておける |
| 回答のもとにした出典と、使ったAIのサービス名 | あとで誤りが見つかったとき、どの段階で間違えたかをたどれる |
確かめる人と項目が決まっていれば、ニューヨークの裁判のように、だれも原典を開かないまま提出する事態を防げます。
マーケターのひとこと
「機密情報は入力しない」とだけ書いたルールだと、見積書の金額や取引先の担当者名が機密に当たるのか、使う人によって判断が分かれてしまいます。ルールを作るときは、入力しない情報を「見積書」「契約書」「顧客名簿」のように書類の名前で挙げておくと、現場で迷いにくいと感じます。
06自社の情報から答えるAIの開発を依頼できるWANの「生成AI活用」
ここまでの「確かめる・補う・決める」のうち、「補う」と「確かめる」は、業務に合わせたしくみとして作り込むこともできます。WANでは、AI開発と生成AIの活用を、Web・3DCG・XRなどの制作・開発と組み合わせて受託しています。
その一つが、WANが開発した「要望にマッチした自社実績を検索する自動応答AIシステム」です。サイトの訪問者がいくつかの質問に答えると、実績ページの中から関連性の高い事例を抽出して表示します。表示されるのはサイトに掲載している実績なので、閲覧者は元のページで中身を確かめられます。
- 質問の内容を企業ごとに設計：業種・サービスの内容・掲載している実績の構成に合わせて、質問を変えられます
- 掲載している実績から事例を選んで表示：サイトに載っていない情報には答えられないため、もとになる実績ページの更新は必要です
詳しくは、WANが取り組む最新AI×XRソリューションで紹介しています。社内の資料や自社サイトの情報をもとに答えるAIを検討している段階でも、ご相談いただけます。
07まとめ：生成AIの苦手は「確かめる・補う・決める」の3つで対処する
生成AIは、知らないことも、知っているときと同じ口調で答えます。苦手な5つのことへの対処を、3つに分けてまとめます。
確かめる：固有名詞と数字と引用は出典で照合する
人名・数字・日付・判例や論文の引用は、ハルシネーションが起きやすい箇所です。出典のページや原典を開いて、該当の一文を確認してから使いましょう。
補う：新しい情報と社内の情報は検索や資料で渡す
最新の情報はWeb検索つきの生成AIで、社内の情報は資料の添付やRAGで補います。文字数や合計は、文字カウントや表計算ソフトで数え直します。
決める：社外に出す回答はだれが確かめるかを決めておく
AIの回答の責任は、AIを使った会社が負います。入力しない情報、確かめる人、AIに任せない業務を社内で決めておくことが、⑤の苦手への対処になります。
生成AIを仕事に使い始めるときは、まずこの3つを書き出して社内で共有し、そのうえで補う道具を選んでみてください。
出典・参考
Kalai, A. T. ほか「Why Language Models Hallucinate」arXiv:2509.04664 https://arxiv.org/abs/2509.04664 （2025年9月4日公開、2026年11月5日確認）
Anthropic ヘルプセンター「How up-to-date is Claude's training data?」 https://support.claude.com/en/articles/8114494 （2026年11月5日確認）
OpenAI ヘルプセンター「What are tokens and how to count them?」 https://help.openai.com/en/articles/4936856-what-are-tokens-and-how-to-count-them （2026年11月5日確認）
Bob Van Voris「Phony ChatGPT Brief Leads to $5,000 Fine for NY Lawyers」Bloomberg https://news.bgov.com/esg/chatgpt-phony-legal-filing-case-gets-lawyers-a-5-000-fine （2023年6月22日公開、2026年11月5日確認）
Civil Resolution Tribunal「Moffatt v. Air Canada, 2024 BCCRT 149」 https://decisions.civilresolutionbc.ca/crt/crtd/en/525448/1/document.do （2024年2月14日、2026年11月5日確認）
NPR「Google shares drop $100 billion after its new AI chatbot makes a mistake」 https://www.npr.org/2023/02/09/1155650909/google-chatbot--error-bard-shares （2023年2月9日公開、2026年11月5日確認）
総務省・経済産業省「AI事業者ガイドライン（第1.2版）」 https://www.soumu.go.jp/main_content/001064279.pdf （2026年3月31日公表、2026年11月5日確認）
写真：Wikimedia Commons
ご相談
AI開発・生成AIの活用
自社の資料やサイトの情報をもとに答えるAIなど、業務に合わせたAIのしくみを開発します。Web・3DCG・XRなどの制作と組み合わせたご相談もお受けしています。
