Meta、LLM規模の広告基盤モデル「GEM」のトレーニング効率を倍増

近年、大規模言語モデル（LLM）の発展は目覚ましく、その技術は広告推薦システムのような複雑なタスクにも応用されています。しかし、LLM規模のモデルを効率的にトレーニングすることは、莫大な計算リソースと時間が必要となるため、主要な課題の一つでした。Metaは、この課題に取り組むべく、InstagramおよびFacebookの広告推薦を支える基盤モデル「Generative Ads Recommendation Model (GEM)」のトレーニングプロセスを最適化しました。具体的には、数千の最新世代GPUを使用し、エンドツーエンドのトレーニング効率（MFU：Model FLOPs Utilization）を20～25%に倍増させ、同時にトレーニングFLOPsを4倍にスケールアップすることに成功しました。このブレイクスルーは、分散学習、メモリ管理、コンパイラ最適化など、複数の先進的な機械学習技術を組み合わせることで実現されました。この効率化は、Metaのような大規模プラットフォームにとって、広告モデルの改善サイクルを加速し、よりパーソナライズされた広告体験をユーザーに提供する上で極めて重要です。これにより、開発者はより短期間で高性能なモデルを開発できるようになり、企業はデータ活用とAIモデルのデプロイメントにおいて競争力を高めることができます。将来的には、このような大規模モデルのトレーニング効率化が、様々な産業分野でのAI導入を促進し、新たなビジネスチャンスを生み出すことが期待されます。