デバイスAI

オフラインLLM適応のためのメモリ効率化フレームワークLARS

パラメータ効率化ファインチューニング（PEFT）がデバイス上のLLM適応においてメモリ効率を保証しないという問題に対し、LARS（Low-memory Activation-Rank Subspace）という新しいフレームワークが提案されました。これは、シーケンス長に依存しないメモリ消費を実現します。