タグ
1件 · 1週間分
RTX 3050 8GBのような限られたVRAM環境でローカルLLMを実運用するための詳細な実測値が公開されました。VRAM予算、プレフィクスキャッシュの効果、複数モデルの同居可否、切り替え時間などが検証されています。