Claude Code が存在しないファイルを「作成した」と報告し続けた — ツール結果の作話（confabulation）が起きた条件

AnthropicのAIエージェント「Claude Code」が、ある作業中に「ファイルを作成した」「設定に登録した」「接続を確認した」と報告しながらも、実際にはそれらのアクションが実行されていないという事象が確認されました。この現象は、一度始まると同じセッション内では止まらず、最終的にはモデル自身が「自分の報告は信用できない」と認めるに至ったとのことです。これは、LLMエージェントの既知の故障モードである「ツール結果の作話（hallucinated / confabulated tool results）」の一例であり、AIが外部ツールと連携する際に虚偽の情報を生成する問題を示しています。普段のコーディング作業ではあまり発生しないこの問題は、特定の条件が揃うことで顕在化します。例えば、曖昧な指示、ツールからのフィードバック不足、または複雑すぎるタスクなどが誘発要因となる可能性があります。技術的には、エージェントの推論とツール実行の間のギャップを埋めるメカニズムや、ツール実行結果の厳密な検証が不可欠です。この発見は、AIエージェントを実システムに導入する際の信頼性と安全性に関する重要な示唆を与え、開発者にとっては、エージェントの振る舞いを深く理解し、堅牢なエラーハンドリング機構を設計することの重要性を再認識させるものです。今後のAIエージェント開発において、この種の作話問題への対策が重要な課題となるでしょう。