マルチモーダルエージェントフレームワークの基礎と最前線：技術と応用に関する調査

大規模言語モデル（LLM）の目覚ましい進歩は、推論、計画、行動能力を持つエージェント、すなわち「エージェンシー」に関する研究の波を加速させてきました。この研究努力により、強力なLLMをバックボーンとして知覚、記憶、意思決定をオーケストレーションするエージェントフレームワークが多数開発されています。さらに、大規模マルチモーダルモデル（LMM）の登場は、これらのシステムが画像、音声、動画といった多様なモダリティを処理・統合することを可能にし、実世界での適用性を大幅に向上させました。これまでのLLMベースエージェントに関する調査は存在しましたが、マルチモダリティがエージェンシーをどのように形成するかについては体系的に検討されていませんでした。この研究は、そのギャップを埋めるもので、知覚、推論、計画、行動、記憶というエージェントフレームワークの主要な機能モジュール全体にわたるマルチモダリティの影響を分析しています。この調査は、マルチモーダルエージェントの現状と将来の方向性について包括的な視点を提供し、研究者がこの分野の未開拓の可能性を追求するための基盤を築きます。これにより、より複雑な現実世界のタスクを自律的に解決できるAIシステムの開発が加速するでしょう。