自律エージェントの信頼性評価：RAGのfaithfulnessは0.67でも3回に1回は間違っている

RAG（Retrieval-Augmented Generation）は、大規模言語モデル（LLM）の幻覚（hallucination）問題を軽減し、より正確な情報を生成するための強力な手法として注目されています。しかし、そのRAGシステムの「信頼性」をどのように評価するのか、という点が重要な課題となっています。本記事は、たとえfaithfulness（根拠文書に基づく忠実度）が0.67という比較的良好なスコアを示しても、実際には高い頻度で事実誤認が生じる可能性を指摘しています。

具体的な実験では、日本語RAGシステムを自社ハードウェア（RTX 5090、Ollama）上で構築し、生成モデルとは別の独立した判定モデルを用いて評価を行いました。通常のRAG評価では、生成と判定に同じモデルを用いる「自己採点」が行われることがありますが、この方法ではモデルが自身の誤りを過小評価する傾向があります。独立した判定モデル（Gemma 4:31b）で再評価した結果、faithfulnessスコアが0.67であったにもかかわらず、100件中33件、つまり約3回に1回の回答が「文脈には基づいているが、事実として間違っている」ことが明らかになりました。さらに、リランカーの追加も効果がほとんど見られなかったと報告されています。

技術的意義としては、RAGシステムの評価手法、特にfaithfulnessの解釈に警鐘を鳴らした点です。自己採点による評価では、AIの真の信頼性を見誤る可能性があることが示されました。これは、RAGを含むAIシステム全体の「信頼できるAI」を構築する上で、評価モデル自体の独立性と客観性が極めて重要であることを浮き彫りにしています。AIが生成する情報の「品質」を多角的に、かつ厳密に検証するアプローチが不可欠であると再認識させます。

社会・産業への影響としては、AIを活用した情報検索、コンテンツ生成、意思決定支援システムなどを開発・運用する企業にとって、より厳格な品質管理と評価プロセスが求められるようになります。安易にAIの出力結果を信頼することの危険性が再確認され、人間の最終確認の重要性が高まります。特に、誤情報が社会に与える影響が大きいニュース生成や医療診断支援などの分野では、AIの出力の信頼性確保が絶対条件となります。

今後の展望としては、RAGシステムにおける信頼性評価の新しいベンチマークや、より客観的で独立した評価モデルの開発が加速するでしょう。また、AIが自身の回答の「確信度」を自己評価し、疑わしい場合には警告を発するメタ認知機能や、複数の情報源をクロスチェックする仕組みなど、AI自身が信頼性を高めるための技術が進化することが期待されます。この研究は、AIを社会に安全に組み込むための重要な示唆を与えています。