MoEルーティングはハフマン符号か？Chain-of-Thoughtにおける「頻度-多様性法則」の発見

Mixture-of-Experts（MoE）アーキテクチャは、大規模言語モデルのスケーリングを革新しましたが、そのルーティングメカニズムは依然としてブラックボックスでした。本研究は、MoEルーティングの根底にある支配的な原理として「頻度-多様性法則」を発見し、MoEルーティングが単なる選択ではなく、情報理論的なハフマン符号の現れであることを明らかにしました。

この法則は、Phi-3.5-MoEやGemma-4-27B-A4Bのような最先端モデルが、情報理論的なエンジンとして自発的に機能していることを示しています。具体的には、これらのモデルは、一般的なトークンに対してはスパースなエキスパートリソースを割り当て、Chain-of-Thought（CoT）の軌跡で見られるような稀で複雑なタスクに対しては、多様なエキスパート委員会を動員していることが判明しました。しかし、Qwen3.5-35B-A3Bのようなモデルでは、実効スパース性（k/E_eff）が十分に低い場合に冗長性トラップが存在することも指摘されています。

この技術的意義は、MoEモデルのルーティングメカニズムに関する深い洞察を提供し、そのブラックボックス的な性質を解明しようとする点にあります。ハフマン符号との関連付けは、MoEが情報圧縮と効率的なリソース割り当てを最適化している可能性を示唆し、今後のMoEモデル設計や最適化に新たな指針を与えるものです。モデルが複雑な推論タスクにおいて、より多様な知識源を動員する「多様性」を重視していることは、CoTの有効性を裏付ける理論的根拠の一つとなり得ます。

社会・産業への影響として、MoEモデルの内部動作がより透明になることで、その信頼性と予測可能性が向上します。AI開発者は、この「頻度-多様性法則」を考慮してMoEモデルを設計・チューニングすることで、より効率的で高性能なモデルを構築できるようになるでしょう。特に、リソースが限られた環境での大規模モデルの運用において、この知見は重要な意味を持ちます。

今後の展望としては、この頻度-多様性法則が他のMoEモデルや異なるタスク設定でも普遍的に観察されるかどうかの検証が重要です。また、この法則を積極的に活用し、ルーティングメカニズムを意図的に制御することで、モデルの性能や効率をさらに最適化する手法の開発が期待されます。MoEモデルにおける冗長性トラップの回避策についても、さらなる研究が必要となるでしょう。