LLMの自己監査と外部文脈の欠落：下書きレビューで自己申告が効く範囲

大規模言語モデル（LLM）を下書きレビューに活用する際、その自己監査（self-critique）能力がどこまで有効なのかを深掘りした記事です。筆者は、LLMに「自分の出力のうちどこが推測・断定過多か」を自己申告させることで、モデル自身の持つ知識（パラメトリック知識）に起因する数字の誤記や根拠の弱い断定といった誤りの検出には一定の効果があることを示しています。しかし、問題はモデルのコンテキストウィンドウに一度も入力されていない「外部文脈」の欠落です。例えば、過去の会話履歴や社内限定の暗黙の前提など、モデルが知り得ない情報は、どれだけLLMに自己監査を促しても、その欠落自体を検出することは原理的に不可能であると説明しています。この発見は、AIレビューの限界を明確にし、人間による最終的な確認の重要性を再認識させます。レビューの労力は、「取り返しがつくか」という観点から、モデルが検出できない外部文脈のチェックに重点を置くべきであり、全出力に均一な精度でレビューをかけるのは費用対効果が悪いと結論付けています。