モバイルNPUを活用した効率的なオンデバイスDiffusion LLM推論「llada.cpp」

Diffusion大規模言語モデル（dLLM）は、複数のトークンを並列でデノイズすることで生成を加速し、低レイテンシが求められるモバイル推論において魅力的な選択肢となりつつあります。しかし、スマートフォンの限られたリソース上では、繰り返されるデノイズ処理が膨大な計算コストを発生させ、効率的な運用を困難にしていました。特に、トークンコミットメントによってブロックごとの有効ワークロードが縮小すること、トークン修正がKVキャッシュの再利用を複雑にすること、そしてNPUが直接アクセスできるアドレス空間が限られているために高コストな再マッピングやデータ転送が発生するといった課題がありました。本論文では、これらの課題を解決するために、スマートフォン上でdLLMを加速する初のNPU対応推論フレームワーク「llada.cpp」を提案しています。llada.cppは、ブロック単位のdLLM推論とNPUの実行モデルを最適に整合させることで、これらのボトルネックを解消します。具体的には、NPUの特性を最大限に活かすようなデータレイアウトと計算パターンを採用し、KVキャッシュの効率的な管理とデータ転送オーバーヘッドの削減を実現しています。この技術は、スマートフォンやその他のエッジデバイス上で、生成AIモデルをより高速かつ低消費電力で実行することを可能にし、オンデバイスAIの普及を大きく加速させるでしょう。リアルタイム応答が求められるモバイルアプリケーションや、オフライン環境でのAI活用に新たな可能性を開きます。