タグ
2件 · 2週間分
クローズドブック質問応答におけるAIのハルシネーション(事実誤認)は、関連情報の欠如だけでなく、有限な記憶容量による情報の近似的保存にも起因します。本研究は、質問応答タスクにおける「カバレッジ-圧縮モデル」を通じて、圧縮によって生じる情報損失が事実誤認にどのように影響するかをレート歪み理論を用いて分析し、ハルシネーションの根本原因に迫ります。
言語モデルのトークン分布には、プロンプトに依存しない固有の非ランダム性、すなわち「ランダム性フロア」が存在することが、エントロピー偏差(ED)という新しい指標を用いて明らかにされました。これは、学習済み重みに起因し、モデルの振る舞いを理解する上で重要です。