LLMのハルシネーションは評価手順の産物：「正確性評価がハルシネーションを招く」

大規模言語モデル（LLM）の「ハルシネーション」（幻覚、事実ではない情報を生成すること）は、AI技術の最大の課題の一つとして認識されています。このNature誌掲載論文「Evaluating large language models for accuracy incentivizes hallucinations」は、その原因がモデルの訓練や評価方法にあるという衝撃的な示唆を与えています。この研究の背景には、ハルシネーションがなぜ発生するのか、その根本原因を解明し、より信頼性の高いLLMを開発したいというコミュニティ全体のニーズがありました。

OpenAIのAdam Tauman Kalai氏らが発表したこの論文は、LLMの正確性を評価する現在のインセンティブ構造が、皮肉にもハルシネーションを誘発していると主張しています。具体的には、モデルが「常に何かを答える」ように訓練・評価されるため、情報がない場合でも推測やでっち上げを行う傾向が強まるというメカニズムを明らかにしています。彼らは「ハルシネーションはミステリアスな現象ではない。現在の訓練・評価手順の必然的な産物だ」と述べており、評価指標がモデルの振る舞いをどのように形成するかを深く掘り下げています。この研究は、LLMが単に知識を記憶するだけでなく、不確実な状況でどのように「振る舞うか」という点に焦点を当てています。

技術的意義として、この研究はLLMの訓練と評価のパラダイムに根本的な再考を促すものです。単に正解率を高めるだけでなく、不確実性や知識の限界を認識し、それをユーザーに伝える能力（アブステーション、つまり「分からない」と答える能力）の重要性を浮き彫りにしています。これは、信頼性の高いAIシステムを構築するための新しい評価指標や訓練手法の開発を促す重要なブレイクスルーと言えます。

社会・産業への影響としては、AI開発者や企業は、LLMの評価基準を見直し、ハルシネーションを抑制するための新たな訓練手法を導入する必要に迫られるでしょう。特に、医療、法律、金融といった高リスクな分野でLLMを導入する際には、モデルが事実をでっち上げるリスクを最小限に抑えるための厳格な評価が求められます。この研究は、AIの倫理的かつ安全な利用を推進するためのガイドライン策定にも影響を与える可能性があります。

今後の展望として、この研究を受けて、LLMの訓練における「アブステーション能力」の向上や、不確実性を表現するメカニズムの開発が加速すると予想されます。また、人間によるフィードバック（RLHF）の設計においても、単なる正解・不正解だけでなく、回答の「確実性」を評価する要素が導入されるかもしれません。AIの信頼性向上に向けた、評価と訓練のイノベーションが今後さらに進むと期待されます。