LLMのランダム性フロア：トークン分布における固有の非ランダム性の測定

大規模言語モデル（LLM）は、一見すると多様なテキストを生成するためランダムに見えますが、その根底には学習された重みに起因する固有のパターンが存在します。この研究では、「エントロピー偏差（Entropic Deviation, ED）」という正規化されたKLダイバージェンスを導入し、モデルのトークン分布と一様分布との間の差異を定量的に測定しました。31,200世代の生成、7つのモデル、2つのアーキテクチャ（TransformerとState Space）、9つのプロンプトカテゴリ、3つの温度、5つの言語にわたる広範な実験を通じて、意味的に中立なプロンプト（空の文字列、ランダムな文字、意味のない音節など）を与えた場合でも、Transformerモデルが約0.30のEDを示すことが判明しました。これは、セマンティックなプロンプトの下で観測される非ランダム性の88〜93%が、コンテキストによって誘発されるものではなく、モデルの学習済み重みに本質的に内在していることを意味します。この「ランダム性フロア」の発見は、LLMの生成メカニズム、特にその創造性と予測可能性の間のバランスを深く理解する上で極めて重要です。技術的意義としては、モデルの内部状態や学習プロセスの理解を深め、ハルシネーションの根本原因解明や、より制御可能なテキスト生成手法の開発に繋がる可能性があります。今後、このEDのような指標が、モデル評価の新たな標準となる可能性も考えられます。