ChatGPTに質問をした時、自信満々に間違った答えを返された経験はありませんか。実はこれ、すべてのAIが抱える「幻覚」という問題です。OpenAIが発表した研究で、意外な原因が判明しました。問題は技術ではなく、私たちがAIを評価する方法にあったのです。真実を知れば、AIへの見方が変わるでしょう。
ARCHETYP Staffingでは現在クリエイターを募集しています。
エンジニア、デザイナー、ディレクター以外に、生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
ボタンから募集中の求人一覧ページに移動できます。
AIが「知ったかぶり」をする仕組み
OpenAIの研究者が実際に検証した驚きの事例があります。Adam Tauman Kalai氏の博士論文のタイトルを聞いたところ、AIは3つの異なる答えを自信を持って回答しました。すべて間違いでした。誕生日を尋ねても同様に、3つの異なる日付を答えましたが、これもすべて不正解だったのです。
なぜこのようなことが起こるのでしょうか。ChatGPTのような言語モデルは「次の単語予測」という方法で学習します。膨大な文章データを読み込み、「この文章の次に来る単語は何か」を予測する訓練を繰り返すのです。従来の機械学習とは異なり、各文章に「真」「偽」のラベルは付いていません。つまり、AIは流暢な言語の正しい例だけを見て学習するしかないのです。興味深いことに、AIはスペルミスや括弧の対応間違いをほとんどしません。これらには一貫したパターンが存在するからです。しかし、個人の誕生日や論文タイトルのような固有の事実は全く事情が異なります。
分かりやすい例で説明しましょう。ペットの写真に「猫」「犬」とラベルを付けて学習させれば、AIは高い精度で分類できます。しかし、ペットの写真にその誕生日をラベル付けしても予測は不可能です。誕生日は本質的にランダムで、見た目から推測できる情報ではないからです。特定研究者の論文タイトルのような低頻度の事実も同様で、パターンだけでは予測できません。AIは十分な情報がないまま推測を強いられ、結果としてもっともらしい嘘を作り上げてしまいます。
では、なぜAIはこのような間違いを犯し続けるのでしょうか。実は、学習方法だけでなく、私たちがAIを評価する仕組みにも根深い問題があるのです。
「テストの採点方法」が生み出す悪循環
幻覚問題の真の原因は、標準的な評価手順が不確実性を認めることよりも推測を報奨していることにあります。
学生時代の多肢選択問題を思い出してください。答えがわからない時、あなたはどうしましたか。多くの人は「当てずっぽうでも答える」を選んだはずです。なぜなら、空欄にすれば確実に0点ですが、推測すれば正解する可能性があるからです。
AIの世界でも全く同じことが起こっています。現在の評価方法は「正確性」、つまり「何問正解したか」だけを重視します。具体的に見てみましょう。AIが誰かの誕生日を知らないとします。「9月10日」と適当に答えれば、365分の1の確率で正解できます。しかし「わからない」と正直に答えれば、確実に0点です。数千の質問で評価する場合、推測を繰り返すAIの方が高い点数を取ってしまうのです。
OpenAIが公開したSimpleQA評価の結果が、この問題を鮮明に浮き彫りにしています。古いo4-miniモデルは、新しいGPT-5よりも正確性では若干上回りました。しかし、決定的な違いがありました。o4-miniの誤答率、つまり幻覚の発生率が大幅に高かったのです。これこそが戦略的推測の弊害です。不確実な時に推測することで正解数は増えますが、同時に間違いと幻覚も急増させてしまいます。現在のスコアボードは正解数だけを強調するため、この深刻な問題が見えにくくなっているのです。
実は解決策は存在します。確信を持った誤答を不確実性よりも重く罰し、適切な不確実性の表現に部分点を与えればよいのです。一部の標準化テストでは、すでに間違いに対する減点制度を採用し、盲目的な推測を阻止しています。
しかし、変革には大きな壁があります。広く使用されている正確性ベースの評価システム全体を更新する必要があるのです。業界全体のスコアボードが推測を報奨し続ける限り、どんなに高性能なAIでも「知ったかぶり」をやめることはないでしょう。この構造的な問題こそが、AI幻覚問題の核心なのです。
まとめ
いかがだったでしょうか？
AIの幻覚問題は、技術的な欠陥ではなく評価システムの構造的問題だったのです。OpenAIの研究は、幻覚が避けられない現象ではなく、適切な評価方法の導入により改善可能であることを明確に示しています。私たちに求められているのは、完璧な答えを追求することではなく、AIが「わからない」と言える環境を作ることなのです。今後のAI開発においては、正確性だけでなく謙虚さも評価する新しい基準が必要になると考えられます。
ARCHETYP Staffingではクリエイターを募集しています！
私たちはお客様の課題を解決するweb制作会社です。現在webサイト制作以外にも、動画編集者や生成AI人材など幅広い職種を募集していますのでぜひチェックしてみてください！
また、アーキタイプではスタッフ１人１人が「AI脳を持ったクリエイター集団」としてこれからもクライアントへのサービス向上を図り、事業会社の生成AI利活用の支援及び、業界全体の生成AIリテラシー向上に貢献していきます。
生成AIの活用方法がわからない、セミナーを開催してほしい、業務を効率化させたいなどご相談ベースからお気軽にお問い合わせください！
ボタンから募集中の求人一覧ページに移動できます。
