自然言語処理

LLMのランダム性フロア：トークン分布における固有の非ランダム性の測定

言語モデルのトークン分布には、プロンプトに依存しない固有の非ランダム性、すなわち「ランダム性フロア」が存在することが、エントロピー偏差（ED）という新しい指標を用いて明らかにされました。これは、学習済み重みに起因し、モデルの振る舞いを理解する上で重要です。