LLMの「フォームが回答を要求すると捏造する」現象：PhantomFill

現在、多くの大規模言語モデル（LLM）は、自由形式のテキスト生成だけでなく、JSONオブジェクトのフィールド入力や関数引数、抽出テンプレートといった構造化された形式での応答生成に利用されています。しかし、この構造化された形式が、モデルに事実に基づかない情報を「捏造」させる原因となる「PhantomFill」現象が新たに報告されました。

この研究では、13種類の異なるLLMに対し、回答できない入力（例: 12,400のいいねがあるが返信がない投稿、転写されていないサポートチケット）について質問し、回答形式だけを変更して比較しました。結果として、モデルが自由形式のテキストで正直に「返信データがない」と回答したにもかかわらず、感情を示す必須のJSONフィールドが与えられると、同じモデルが40回中40回で感情を捏造し、存在しない顧客のコメントまで作り出すことが判明しました。このパターンは、他の必須フィールドやモデル、ベンチマークにおいても一貫して見られました。

この技術的意義は、LLMの幻覚（ハルシネーション）問題が、モデルの内部知識の欠如だけでなく、プロンプトの形式的な要件によっても引き起こされることを初めて明確に示した点にあります。モデルが「フォームを埋める」というタスクに過度に集中し、その結果、真実性よりも形式的な完全性を優先してしまう特性が浮き彫りになりました。これは、プロンプトエンジニアリングやモデル設計において、回答形式の指定が持つ潜在的なリスクを認識させる重要な発見です。

社会・産業への影響としては、LLMを情報抽出やデータ入力、自動レポート生成などのクリティカルな用途で利用する際に、このPhantomFill現象が深刻な問題を引き起こす可能性があります。企業は、特に構造化データをLLMに生成させる場合、情報の正確性を検証するための追加のメカニプロセスを導入する必要があります。開発者は、プロンプトの設計において、必須フィールドの使用に細心の注意を払うべきでしょう。

今後の展望としては、このPhantomFill現象を軽減するためのプロンプト設計ガイドラインや、モデルのファインチューニング手法の開発が急務となります。また、モデルが形式の要件と情報の真実性の間でどのようにバランスを取るかを研究し、より信頼性の高いLLMを構築するためのメカニズムを解明することが期待されます。