Chain-of-Models：バイアスに強いLLM判定のためのクロスモデル監査

大規模言語モデル（LLM）は、その汎用性から自動判定者（LLM-as-judge）として広く利用されるようになってきました。しかし、その判断は人間と同様に認知バイアスに脆弱であり、不公平な結果や誤った評価につながる可能性があります。既存のバイアス対策は、プロンプトによるデバイアスが主であり、バイアスの種類によって堅牢性に欠けるか、人間による評価に頼るためスケーラビリティが低いという問題がありました。本研究では、この課題に対し、「Chain-of-Models（CoM）」という新しい自動監査パイプラインを提案しています。CoMでは、まず第一のモデルが推論を行い、その推論過程を第二の監査モデルが詳細に検査し、その上で最終的な判断を下します。この設計における重要な問いは、「監査モデルとして、元のモデルと同じモデルを使うべきか、同じファミリーのモデルを使うべきか、それとも異なるファミリーのモデルを使うべきか」という点でした。6つのファミリーにわたる9つのモデル、4種類の認知バイアス、4つの事実データセットを用いた広範な実験の結果、監査モデルの選択が監査の有効性に大きく影響することが判明しました。特に、単体でのバイアス耐性は監査の有効性を予測しないことが示されています。技術的意義として、CoMはLLMの判定における信頼性と公平性を自動的に向上させる画期的な手法です。開発者は、バイアスに強いAI評価システムを構築するための新しいフレームワークを得ることができ、企業は、コンテンツモデレーション、製品レビュー、カスタマーサポートの評価などにおいて、より信頼性の高い自動判定を導入できるようになります。将来的には、CoMのようなクロスモデル監査が、AIシステムの安全性と信頼性を確保するための標準的なプラットフォームとなる可能性があります。