AnthropicのClaude Managed Agents向け「Dreaming」機能の構造的リスク：自己生成メモリが自己プロンプトインジェクションになり得る可能性

AIエージェントの自律性が高まるにつれて、その内部動作の透明性と安全性が重要な課題となっています。特に、エージェントが自身の経験から学習し、メモリを管理する機能は、性能向上に不可欠である一方で、新たな脆弱性をもたらす可能性があります。AnthropicのClaude Managed Agents向け「Dreaming」機能は、まさにこの文脈で登場した革新的な機能ですが、同時に潜在的なリスクを抱えています。

2026年5月6日、AnthropicはClaude Managed Agents向けに「Dreaming」機能を発表しました。この機能は、エージェントがセッション間に自身の過去のログを読み返し、メモリを自動的に統合、削除、およびパターン抽出するメカニズムです。これにより、エージェントは長期的な学習と適応性を高め、より洗練されたタスク実行が可能になります。しかし、この研究では、Dreamingの構造が「自己プロンプトインジェクション」として動作しうるという構造的リスクを指摘しています。

自己プロンプトインジェクションとは、外部の攻撃者を介さずに、AI自身の生成した出力がAI自身への命令として誤って、または悪意を持って再解釈される経路を持つことです。Dreaming機能における自律的なメモリ統合プロセスは、AIが自身の過去の出力を分析し、それを基に新たな内部状態や指示を生成するため、意図しない形でこの自己プロンプトインジェクションのリスクを生み出す可能性があります。関連するメモリ汚染攻撃（MINJA、PoisonedRAGなど）の研究は既に存在しますが、Dreamingの自律的統合プロセス自体を攻撃面として分析した研究はこれが初となります。

この技術的意義は、AIエージェント設計における新たなセキュリティ原則の必要性を示唆している点です。自己学習・自己改善型のAIシステムでは、意図しない内部ループがセキュリティリスクに直結する可能性があり、その設計段階からのセキュリティ評価が不可欠です。エージェントの自律性向上とセキュリティ確保のバランスは、今後のAI開発における中心的な課題となるでしょう。

社会・産業への影響としては、自律型AIエージェントが重要なビジネスプロセスや個人データに関わる際に、予期せぬ挙動や悪用リスクが発生する可能性を示唆します。企業は、エージェントのメモリ管理機能の導入に際して、厳格なセキュリティ監査とリスク評価を行う必要があり、AIシステムの信頼性に対する新たな懸念を生み出す可能性があります。

今後の展望として、Dreamingのような高度なメモリ管理機能を持つAIエージェントの安全性を確保するための、新しい防御メカニズムや監視システムの研究が加速するでしょう。また、エージェントの内部状態と意思決定プロセスをより透明にするための、説明可能性（XAI）技術の発展も求められることになります。