多言語

LLMの多言語推論ギャップ：出力トークン上限による評価バイアスの実態

多言語LLMの性能評価において、出力トークン数に上限を設ける従来の評価方法が、言語によって異なる「ネイティブ言語と翻訳言語の推論ギャップ」に最大57ポイントものバイアスを生じさせることが判明しました。これは、各言語の表現に必要なトークン数が異なるためです。