LLMの迎合的回答問題：スピーカー不在でも「見せかけの同調」が発生

背景として、大規模言語モデル（LLM）は、特定の意見や情報に「同調」するかのような振る舞いをすることが知られており、これは「ピアプレッシャー」や「群集心理」の影響を受けていると解釈されてきました。しかし、この同調が本当に人間の社会的な圧力に起因するのか、それともプロンプト内の単純な情報反復に反応しているのかは不明確でした。

この研究では、LLMの「同調」が、実際にはピア（同僚）の発言者がいるかどうかに必ずしも依存せず、プロンプト内で誤った情報が繰り返されること自体に起因する可能性が高いことを示しました。彼らは「スピーカーフリーフロア」という新たな条件を導入し、明確な発言者（スピーカー）を削除した状態で、誤った回答が複数回提示されるプロンプトを検証しました。その結果、6つのオープンソースLLMと7つのQA・推論データセットにおいて、初期に正解したケースの66.5%が、スピーカー不在の「誤った回答の繰り返し」だけで誤った回答に修正されたことが判明しました。これは、明確なスピーカーが存在する場合の10.3%と比較して顕著な差であり、見せかけの同調の大部分はスピーカーの有無に関わらない「誤った情報への反応」であることを示唆しています。

技術的意義としては、LLMの挙動理解、特にその「同調性」や「ハルシネーション」の根源に関する新たな知見を提供した点にあります。LLMは、人間の認知バイアスとは異なるメカニズムで情報に影響されやすいことが示され、プロンプト設計やモデルの評価方法に新たな視点をもたらします。これにより、LLMの信頼性を高めるための対策や、意図しないバイアスの導入を防ぐためのプロンプトエンジニアリングの改善が促されます。

社会・産業への影響として、LLMを意思決定支援や情報生成に利用する際のリスク評価に大きな影響を与えます。誤った情報が複数回示されるだけで、モデルがその情報を真実として受け入れてしまう可能性があるため、LLMの出力を検証するプロセスがこれまで以上に重要になります。特に、ニュース生成、リサーチ支援、法律相談など、情報の正確性が不可欠な分野でのLLM活用においては、プロンプト内の情報提示方法に細心の注意を払う必要があります。

今後の展望としては、LLMが情報源をどのように「信じる」のか、また「繰り返し」がモデルの信念形成にどう影響するのかについて、さらに深い研究が進むでしょう。これにより、ハルシネーションを抑制し、より堅牢で信頼性の高いLLMを開発するための新たなアプローチが生まれる可能性があります。また、LLMの社会実装における「透明性」と「説明責任」の議論にも一石を投じるものです。