Quantized Mixture-of-Expertsにおける因果経路媒介による量子化ダメージ検出

大規模言語モデルにおけるMixture-of-Experts (MoE) アーキテクチャは、推論効率の向上に貢献していますが、そのルーティングメカニズムが不連続であるため、数値的な摂動、例えば4ビットKVキャッシュ量子化のような低精度化によって、トークンが本来選択すべきエキスパートとは異なるエキスパートに誤ってルーティングされる「ルートフリップ」が発生し、モデルの性能が低下するという課題がありました。本論文は、このルートフリップがモデルの出力に与える「ダメージ」を、因果的な観点から詳細に分析しています。提案された「因果経路媒介分析」という新しいアプローチは、量子化によって引き起こされる全体的なダメージのうち、ルーティングメカニズムの誤りによって媒介される割合（RMF: Route-Mediated Fraction）を定量化することを可能にします。これにより、OLMoE-1B-7Bモデルのパイロット実験では、ダメージの約3分の1がルーティング媒介であることが示されました。この技術的意義は、MoEモデルの量子化耐性や堅牢性を評価し、改善するための新たな診断ツールと知見を提供する点にあります。これまでの研究では、量子化による性能低下は観察されても、その根本的な原因がルーティングにあるのか、個々のエキスパートにあるのかを区別することが困難でした。この分析は、より効率的な量子化手法や、堅牢なルーティングメカニズムの設計に貢献し、実用的なAIモデルの展開を加速させるでしょう。今後は、RMFの値を低減するための具体的な手法開発や、他のMoEモデルへの適用が期待されます。