大規模言語モデルによるAIエージェント評価の信頼性とバイアスに関する研究

LLM-as-a-Judgeは、モデルの出力ランキング付け、報酬モデルのトレーニング、公開リーダーボードの作成など、AI開発において広く利用されています。しかし、その評価の信頼性と実行ごとの安定性については、これまで十分に特徴づけられていませんでした。本研究では、29のタスクと10のカテゴリにわたる大規模な評価実験を実施し、OpenAIの主要なジャッジモデルであるGPT-4o-miniとGPT-4.1-miniを用いて、同一の評価を複数回繰り返しました。その結果、ペアワイズ比較において、モデルの好みは平均で13.6%の確率で逆転し、一部の質問では56%もの高い頻度で評価が変動することが明らかになりました。また、GPT-4o-miniでは、最初の選択肢を優遇する有意な「初回位置バイアス」が72%の確率で観察されました。これは、LLM-as-a-Judgeが人間による評価を完全に代替する前に、その不安定性と固有のバイアスを理解し、補正する必要があることを強く示唆しています。この発見は、AI評価システムの設計と運用において、より厳密なプロンプトエンジニアリング、複数の評価者の利用、結果の統計的分析、およびバイアスを緩和するメカニズムの導入が不可欠であることを示しています。将来的には、より堅牢で透明性の高いAI評価フレームワークの開発が求められます。