LLMのモデル崩壊の疫学：合成データ汚染を「二層SIRダイナミクス」でモデル化

大規模言語モデル（LLM）の訓練において、合成データを利用することは一般的になっていますが、その一方で「モデル崩壊（Model Collapse）」という深刻な問題を引き起こすことが知られています。これは、モデルが自身の生成した合成データを再学習することで、知識が劣化していく現象です。従来の分析では、この崩壊は単一の劣化チェーンとして捉えられていましたが、実際にはAIエコシステム全体での複雑な相互汚染が関与しています。

本研究では、このモデル崩壊のメカニズムをより深く理解するため、「二層SIR/SIRSフレームワーク」という新しいアプローチを提案しています。これは、疫学で感染症の広がりをモデル化する際に用いられるSIR（Susceptible-Infected-Recovered）モデルを応用したもので、データコーパスとAIモデルという二つの相互作用する個体群を設定します。それぞれの個体群には「感染しやすい（Susceptible）」「感染している（Infected、つまり合成データに汚染されている）」「回復した（Recovered、つまりフィルタリングまたは再訓練された）」という状態が定義され、これらが相互に影響し合うことでデータ汚染が広がる様子を表現します。

特にSIRS（Susceptible-Infected-Recovered-Susceptible）変形では、フィルタリングされたコーパスや再訓練されたモデルも再び汚染される可能性があるという「免疫の減衰」を組み込んでいます。これにより、AIエコシステムにおける合成データ汚染のより現実的なダイナミクスを捉えることができます。このフレームワークを用いることで、汚染の広がりを制御するための基本再生産数 $R_0$ を導出しました。

技術的意義は、LLMのモデル崩壊をシステム全体の問題として捉え、その伝播メカニズムを定量的に分析する初めての試みである点にあります。このモデルは、合成データ汚染の予防戦略や、エコシステム全体の健全性を維持するための介入策を設計する上で重要な基礎を提供します。また、単なるパフォーマンス指標だけでなく、データ lineage（データの系譜）を追跡し、汚染源を特定するアプローチの重要性を示唆しています。

社会・産業への影響としては、AIモデル開発者や運用者が、合成データの利用に関するより厳格なガイドラインや、データクリーニング・フィルタリングの技術を導入する動機付けとなります。また、オープンソースのデータセットやモデルを共有するコミュニティでは、データの「健康状態」を監視し、汚染の兆候を早期に検出するツールの開発が加速するでしょう。これにより、AIエコシステム全体の信頼性と持続可能性が向上することが期待されます。

今後の展望としては、この疫学モデルを基盤として、合成データ汚染を自動的に検出し、緩和するAIエージェントやシステムの開発が進むと考えられます。また、データセットの「感染度」を評価する指標が確立され、より健全なデータセット選択や生成戦略が普及するかもしれません。究極的には、モデル崩壊を根本的に防ぐための、データ生成とモデル学習の新たなパラダイムが生まれる可能性があります。