この記事のポイント
ChatGPTの嘘は「ハルシネーション」と呼ばれ、事実に基づかない情報を生成する現象- ChatGPTが嘘をつく原因には、確率的モデルの性質や学習データの制約など
- ChatGPTの嘘に対処するには、最新情報の確認と回答の検証が重要
- AIアシスタントの特性を理解し、適切に活用することが求められる
監修者プロフィール
坂本 将磨
Microsoft AIパートナー、LinkX Japan代表。東京工業大学大学院で技術経営修士取得、研究領域：自然言語処理、金融工学。NHK放送技術研究所でAI、ブロックチェーン研究に従事。学会発表、国際ジャーナル投稿、経営情報学会全国研究発表大会にて優秀賞受賞。シンガポールでのIT、Web3事業の創業と経営を経て、LinkX Japan株式会社を創業。
ChatGPTは強力なAIアシスタントですが、時として誤った情報を提供することがあります。
この記事では、ChatGPTが示す誤情報や嘘、通称「ハルシネーション」について解説します。
なぜChatGPTが誤りを生じさせるのか、その原因を探るとともに、AIの潜在的なリスクへの対処法や、嘘を見抜く方法についても提案していきます。
ChatGPTを安心して利用するための知識を深めていきましょう。
目次
ChatGPTの嘘とは？
このChatGPTの"嘘"とは一般的にハルシネーションと呼ばれます。
ハルシネーションとは、ユーザーが入力したプロンプトに対して「実際には存在しない、事実に基づかない情報を生成する現象」を指します。
この用語は英語で「幻覚」を意味する「Hallucination」から来ており、AIがもっともらしい嘘を出力することで、まるで幻覚を見ているかのような状態を表現しています。
人間が幻覚を見るように、AIも「幻覚」を見ているかのような結果を出力するため、この名称が用いられています。
このハルシネーションは、ChatGPTによって生成されたデータが実際のものと異なることにより、正確さや意味のある情報提供を阻害するといった影響があり、問題視されています。
読売新聞によるChatGPT誤情報の記事(出典:読売新聞)
NHKによるChatGPT誤情報の記事 (出典:NHK)
ChatGPTはなぜ嘘をつく？
ChatGPTが嘘を提供する原因としては、大きく分けて以下のようなものが挙げられます。
- 確率的モデルの性質
- データの鮮度
- 読み書きへの特化と他分野の苦手意識
- 学習データの不足
以下では、それぞれのパターンについて、具体的な事例を交えながら詳しく解説していきます。
確率的モデルの性質
ChatGPTは文章を一から作るのではなく、確率の高い言葉を並べることで回答を作成しています。
そこでは正確な情報を伝えることに特化しておらず文脈に違和感のない回答を作成し回答します。
そのため、ユーザーはChatGPTの嘘の回答を、一見すると「間違いのない正しい情報である」と勘違いしてしまうことが多いです。
ここから先は少し専門的な話となりますが、この確率的なモデルにはTransformer(トランスフォーマー)と呼ばれる革新的なデータの処理方法と学習方法が使用されています。
以下の記事で、ChatGPTにも搭載されているTransformer(トランスフォーマー)の仕組みについて詳しく説明しています
ぜひ一読してみてください。
Transformerとは？モデルの概要やBERTとの違いをわかりやすく解説 | AI総合研究所
AIと自然言語処理（NLP）に革命をもたらしたトランスフォーマーモデルの基本から応用例、その仕組みと開発モデルについてわかりやすく解説します。
https://www.ai-souken.com/article/transformer-overview
データの鮮度
ChatGPTの回答は過去の大量の学習データをもとに作成されるため、その学習データが最新情報かなどに大きく影響を受けます。
ChatGPTに使用されているGPT-3.5の学習データは2022年1月までのものであるため、それ以降の新しい科学的発見や社会的イベントに関する情報は正しく回答できないことがあります。
より上位のモデルであるGPT-4では2023年3月まで、GPT-4oでは2023年10月までの学習データを利用できますが、それでも最新の出来事については正しく回答ができない可能性は高いです。
ChatGPTのGPT-3.5の最新情報は2022年1月まで
以下に学習したデータが過去のものであり、現在の情報と一致していない例を示します。
ChatGPTに2024年5月現在の大谷翔平選手の所属チームを尋ねたところ、ロサンゼルス・エンゼルスと回答がありました。
しかし実際に大谷翔平選手は2023年12月にドジャースに移籍しており10年契約を結んでいます。
実際の2024年5月大谷翔平の所属チーム
このように、ChatGPTでは過去のデータをもとに回答を作成しているため、最新の情報が更新されていません。
そのためスポーツの記録といった結果が刻々と変動する更新が必要な情報ではハルシネーションが起きやすい傾向があります。
読み書きへの特化と他分野の苦手意識
ChatGPTは読み書きが特異な一方で計算といった他の分野は苦手な一面があります。
これはユーザーの求める計算内容の桁数が大きくなると組合せ爆発を起こしてしまい、かなり複雑な言語モデルが必要になるためと考えられています
以下に例を示します。
455×1876という掛け算の答えは、実際に計算機で計算すると「853,580」という値が正しい答えです。
実際に計算機で求めた計算結果
しかし、ChatGPTに計算を頼むと「855,980」という嘘の回答が返ってきました。
ChatGPTによる計算結果
学習データの不足
ChatGPTの莫大な学習データですが、これはすべての事象を網羅しているわけはありません。
一般的でなく、特殊で専門的な情報などはChatGPTの学習データに含まれていない場合が多く嘘の回答を推測で行ってしまう場合があります。
特に地域性のある情報や特定の人物に関する情報は学習データに含まれていない場合が多く嘘の回答が生じることがあります。
例えば、ChatGPTにはえぬき米とはどこの米ですかと生産を尋ねると、一般的に存在しないという回答が返ってきました。
ChatGPTによるはえぬき米の生産地の回答
はえぬき米は、山形県の県内で多く消費されている名産品でふるさと納税の返礼品としても人気のお米です。
これはCharGPTが特定の地域に関する情報が学習データに含まれていないために起きた嘘の回答と考えられます。
山形産はえぬき米
このような地域的な情報や専門的な事象については、ChatGPTに正確な回答を求めるよりも、アシスタントや参考程度として使用することが推奨されます。
専門的な情報が必要な場合は、その分野の専門家から直接アドバイスを得るのが賢明でしょう。
ChatGPTによる嘘(ハルシネーション)の例をいくつか紹介しました。
より多くの嘘や誤回答の例を知りたい方は、以下の記事もぜひ読んでみてください。
ChatGPTの嘘を見破るヒントが得られるでしょう。
ChatGPTの誤回答とは？その例や対策方法をわかりやすく解説！ | AI総合研究所
ChatGPTの誤回答の事例とその対応方法について解説します。最新情報を反映していない点や文脈把握の難しさなどが挙げられ、これらの問題への理解が、AIを有効活用するためには重要です。
https://www.ai-souken.com/article/collection-of-chatgpt-errors
ChatGPTの嘘(ハルシネーション)に対処するための対策
ここからは、このようなChatGPTの嘘への対処について紹介します。
ChatGPTの嘘に適切に対処し、AIを効果的に活用するためには、以下のような点に注意しましょう。
最新の情報を自分で確認する
ChatGPTのGPT-3.5の学習データは2022年1月までのものであるため、それ以降の最新情報は反映されていない可能性があります。
重要な情報については、必ず自分で最新のデータを確認するようにしましょう。
一方、Microsoft CopilotやGPT-4oのようにWeb検索機能を備えたAIアシスタントを使用する場合は、最新の情報に基づいた回答が得られる可能性が高くなります。
また、WebChatGPTのようなGoogle Chromeで実装されている拡張機能を活用することでブラウジング機能を利用することも可能です。
ただし、Web上の情報も完璧ではないため、やはり重要な情報については複数の情報源を確認し、ファクトチェックを行うことが大切です。
【関連記事】
➡️[https://www.ai-souken.com/article/using-post-2021-data-in-chatgpt]
情報を鵜呑みにしない
ChatGPTの回答には、本記事で紹介したような嘘の情報が含まれることが多くあります。
そのため、ChatGPTの回答をそのまま信じ込むのではなく、常に批判的な目を持つことが重要です。
特に重要な意思決定に関わる情報については、複数の情報源を確認し、ChatGPTの回答の正確性を検証するようにしましょう。
また、専門的な質問については、ChatGPTではなく、その分野の専門家に相談するのが賢明です。専門家は最新の知見を持ち、文脈を踏まえたアドバイスを提供してくれるでしょう。
これらの点に注意しながらChatGPTを使いこなすことで、AIの力を借りつつ、その限界を補うことができるでしょう。
まとめ
ChatGPTは、適切に使用することで強力なツールとなり得ますが、その可能性を最大限に引き出すためには、ユーザーの理解と使い方がカギを握ります。
本記事では、ChatGPTの嘘(ハルシネーション)の典型的なパターンとして、ChatGPTが確率的モデルであること、ChatGPTは読み書きに特化していること、ChatGPTの学習データは過去のもの、またChatGPTの学習データの不足といった4つを取り上げ、それぞれの具体例を交えて解説しました。
これらの問題に適切に対処するためには、最新の情報を自分で確認し、ChatGPTの回答を鵜呑みにせず批判的に吟味することが重要です。また、専門的な事象については、ChatGPTではなく専門家の意見を求めるのが賢明でしょう。
ChatGPTの長所と短所を理解し、適切に活用することで、AIの力を借りつつ、その限界を補うことができます。AIアシスタントが日常的になりつつある今、その特性をしっかり理解し、うまく付き合っていくことが求められています。
