分散型自律研究とBitNetトレーニングによる専門家モデル生成システム「MAGNET」

大規模言語モデル（LLM）の発展に伴い、特定のドメインに特化した高性能なモデルの需要が高まっています。しかし、その開発には膨大な時間とリソース、専門知識が必要です。MAGNET（Model Autonomously Growing Network）は、この課題を解決するために提案された分散型システムであり、ドメイン専門家言語モデルの自律的な生成、トレーニング、提供を目指します。MAGNETは主に4つのコンポーネントで構成されています。(1)「自律研究（autoresearch）」：データセット生成、ハイパーパラメータ探索、評価、エラー駆動反復を自動化するML研究パイプラインです。(2)「BitNet b1.58三値化トレーニング」：CPUネイティブ推論を可能にし、GPUハードウェアへの依存を低減します。(3)「DiLoCoベースの分散型マージ」：ドメイン専門家モデルの通信効率の良い集約を実現します。(4)「HOOTi EVMチェーン上のオンチェーン貢献追跡」：システム全体の透明性と貢献度管理を担保します。技術的意義は、機械学習モデル開発のプロセス自体をAIが自律化し、効率的かつ分散型で専門家モデルを生成できる点にあります。特に、BitNetによるCPU推論の可能性は、リソースが限られた環境でのAI利用を大きく促進します。社会・産業への影響としては、特定の産業や業務に特化したAIモデルの迅速な開発・導入が可能となり、企業のAI活用を加速させることが期待されます。今後は、さらに多様なドメインでの検証と、システムのスケーラビリティ向上が注目されます。