LLMの多言語推論ギャップ：出力トークン上限による評価バイアスの実態

大規模言語モデル（LLM）の多言語対応はグローバルなAI展開において不可欠ですが、その性能評価は複雑な課題を抱えています。特に、MGSM（多言語算術推論）のようなベンチマークでは、出力トークン数に一律の上限（キャップ）を設けるのが一般的です。しかし、言語によって同じ内容を表現するのに必要なトークン数が異なるため、この一律のキャップが評価結果に意図しないバイアスをもたらす可能性が指摘されていました。今回の研究は、この隠れた実験変数である「トークン予算」が評価に与える影響を定量的に明らかにしました。

Qwen3-8BとLlama-3.1-8B-Instructモデルを用いて、ドイツ語、タイ語、スワヒリ語といった複数の言語でMGSMベンチマークを評価した結果、出力トークンの上限設定によって「ネイティブ言語と翻訳言語間の推論ギャップ」が最大57ポイントも変動することが分かりました。これは、例えば回答が長い言語では、トークン上限に達しやすいため、モデルが完全な回答を出力できずに評価が低くなるという現象です。さらに、出力の長さを正規化しても、キャップが厳しすぎる場合には最大38.9ポイントの変動があり、場合によっては最適なプロンプト戦略が逆転することさえ示されました。この研究では、54万件ものハードキャップ付きデコードを用いて、この現象を詳細に検証しています。

技術的意義としては、多言語LLMの公平な評価のために、出力トークン上限のような見落とされがちな実験設定が、結果に与える重大な影響を明らかにした点にあります。これは、ベンチマーク設計の改善を促し、より正確な多言語モデルの能力評価を可能にします。また、言語ごとに異なる表現効率を考慮した、より洗練された評価指標やプロンプト戦略の開発を必要とすることを示唆しています。

社会・産業への影響として、多言語LLMを開発・導入する企業は、性能評価結果を解釈する際に、この「トークン予算のバイアス」を考慮に入れる必要があります。特に、グローバル市場向けにAI製品を展開する際には、特定の言語で不当に低い評価を受けることを避けるために、評価プロトコルを見直す必要性が生じます。ユーザー側も、ベンチマークスコアだけを鵜呑みにせず、実際の利用シナリオに合わせた評価の重要性を認識するようになるでしょう。

今後の展望として、この研究は、多言語LLMの評価における新たな標準を確立する契機となるかもしれません。言語固有の表現効率を考慮した動的なトークン上限設定や、出力の完全性をより重視する評価指標の開発が期待されます。また、プロンプトエンジニアリングの観点からも、異なる言語におけるトークン効率を考慮した最適化が重要になるでしょう。多言語AIの真の能力を引き出すための、継続的な研究と実践が求められます。