Bicameral Model: 2つのLLMが隠れ状態を通じて協調する双方向結合アプローチ

これまでのマルチモデルシステムやツール拡張型システムは、テキスト生成を介して情報を交換するのが一般的でした。しかし、この方法は交換のたびに情報をシリアル化する必要があり、リアルタイム性や情報の豊かさに制約がありました。今回発表された「Bicameral Model」は、この制約を打ち破る画期的なアプローチです。このモデルは、2つの事前学習済みLLMを、テキストを介さず、それぞれの「隠れ状態（hidden states）」と呼ばれる中間表現を介して双方向に結合させます。具体的には、プライマリモデルがタスクを主導し、補助モデルがツール操作や制約解決を行う際、両者が互いのアクティベーションを翻訳ネットワークと学習可能な抑制ゲート（結合パラメータの約1%）を介して条件付けながら、同時に動作します。この技術的意義は、LLM間のコミュニケーションが、テキストという高レベルな記号表現から、より低レベルで連続的な内部状態へと移行した点にあります。これにより、モデルはより密接に、そして効率的に協調し、タスクの損失のみから選択的な通信プロトコルを学習することができます。開発者にとっては、より洗練されたエージェントシステムの構築や、複数のLLMを協調させて複雑な問題に取り組む新たな設計パラダイムが生まれます。今後は、この双方向結合アプローチが、人間とAIの協調、またはAI間の協調における新たなブレイクスルーをもたらす可能性を秘めており、多エージェントシステムや分散AIシステムの発展を加速させることが期待されます。