Transformerトレーニングのスペクトルライフサイクル

Transformerモデルは、現代のLLMの基盤となっていますが、その内部動作、特に事前学習中の重み行列の進化については、まだ不明な点が多く残されています。本研究では、3つの異なるモデルスケール（30M～285Mパラメータ）にわたるTransformerモデルの事前学習中に、すべての重み行列の完全なSVD分解を25ステップ間隔で追跡するという、初の体系的な研究を行いました。この詳細な分析により、3つの重要な現象が発見されました。第一に「一時的な圧縮波」は、安定ランクの圧縮が初期層から後期層へと伝播し、早期にピークを迎え、その後逆転して後期層が初期層よりも過剰に圧縮されることを示します。第二に「永続的なスペクトル勾配」は、べき乗則指数αが深層モデルにおいて非単調な逆U字型の深さ勾配を形成し、深さが増すにつれてピークが早期層へとシフトすることを示します。第三に「Q/K-V非対称性」は、クエリ/キー（Q/K）とバリュー（V）の特異値スペクトルの進化に顕著な非対称性が存在することを示唆しています。これらの発見は、Transformerの学習ダイナミクス、特にアテンションメカニズムの内部挙動に関する深い洞察を提供します。技術的意義としては、モデルの安定性、効率性、汎化能力を向上させるための新たな最適化戦略やアーキテクチャ設計の指針を与える可能性があります。今後の展望として、これらの知見を基に、より効率的で高性能なTransformerモデルの開発が期待されます。