GPU

RTX 3090（24GB）で7Bモデル学習を成立：個人GPUでの大規模Transformer運用実践記録

RTX 3090（VRAM 24GB）1枚とWSL2上のUbuntu環境で、7Bパラメータ規模のTransformer系モデルの事前学習が安定動作した実践記録が公開されました。VRAM 22.6GBを使用し、約1770 tok/sのスループットを達成しましたが、最適化選択など多くの落とし穴を乗り越えた詳細が共有されています。