タグ
3件 · 2週間分
Transformerモデルの事前学習中に、重み行列の特異値スペクトルを体系的に追跡した結果、3つの新たな現象が発見されました。「一時的な圧縮波」、「永続的なスペクトル勾配」、そして「Q/K-V非対称性」です。
強化学習（RL）が感染症制御とアウトブレイク対応における介入戦略の最適化に活用され、公衆衛生分野での潜在能力が注目されています。COVID-19を始めとする多様な感染症に対し、長期的な成果を最大化するRLの適応性が研究で示されています。
MAGNETは、データ生成、ハイパーパラメータ探索、評価、エラー駆動反復を自動化する自律ML研究パイプラインを統合した分散型システムです。BitNet b1.58の三値化トレーニングと分散型マージを組み合わせることで、ドメイン専門家言語モデルの自律的な生成、トレーニング、提供を可能にします。