LLMの表層的な安全性：Semantic Camouflageとその対策「Intent Horizon」

大規模言語モデル（LLM）の安全性アラインメントは、しばしば表層的な拒否メカニズムに頼っており、有害な概念が事前学習中に獲得された根本的な知識から削除されていないという課題が指摘されていました。この研究では、このアーキテクチャの不整合が、有害な意図が良性の物語的文脈（例：クリエイティブライティング）に巧妙に隠される「Semantic Camouflage（意味的カモフラージュ）」という敵対的攻撃に対してモデルを脆弱にすることを示しています。この攻撃は、標準的な入力および出力ガードレールを効果的に迂回します。Phi-3、Qwen2.5、Gemma-2bといった3つの異なる小規模言語モデル（SLM）ファミリーの潜在活性化経路を敵対的ストレス下で分析することにより、研究者たちは普遍的な「Intent Horizon（意図の地平線）」を発見しました。これは、有害な意図が明確に検出できる臨界的な深さを指します。この発見は、単に出力だけを監視するのではなく、モデルの内部的な推論プロセス、特に初期段階での意図形成をより深く理解し、介入する必要があることを示唆しています。将来的には、この「Intent Horizon」を検出し、その段階で介入することで、より強固なLLMの安全性メカニズムを構築できる可能性が開かれました。