LARA：構成可能な適応とアラインメントのための残差ストリームにおける軽量アダプター

大規模言語モデル（LLM）の適応（ファインチューニング）は、特定のタスクやドメインにモデルを特化させる上で不可欠ですが、モデル全体の重みを更新する従来のファインチューニングは計算コストが高く、モデルごとに重みを保存する必要があります。LoRA（Low-Rank Adaptation）のような効率的な適応手法は、低ランクの更新を重み行列に追加することでこの課題を緩和しましたが、LARA（Lightweight Additive Residual Adaptation）はさらに一歩進んだアプローチを提案します。LARAは、凍結されたベースモデルの重みを一切変更せず、その代わりにごく一部のレイヤーの隠れ状態を読み取り、低ランクの補正を残差ストリームに加えることで適応を行います。これにより、LoRAと同等のパラメータ数で同等の性能を達成できるだけでなく、推論時に適用されるスケールγを調整することで、ベースモデルの振る舞いと適応された振る舞いの間を滑らかに補間する、きめ細やかな制御が可能になります。これは、重み空間での適応では実現できない、LARA独自の利点です。技術的意義として、LARAはモデルの再利用性と柔軟性を大幅に向上させ、複数の適応設定を単一のベースモデルに効率的に適用することを可能にします。開発者は、タスクに応じたモデルの振る舞いをより柔軟に調整できるようになり、企業は、多様なアプリケーション要件に対応するAIモデルを、より効率的にデプロイ・運用できます。特に、モデルの振る舞いを微調整したい研究者や、複数のバリアントを同時に管理する必要があるプロダクトチームにとって、LARAは強力なツールとなるでしょう。この技術は、LLMの適応手法における新たな標準を確立し、より多様なAIアプリケーション開発を加速することが期待されます。