LLMの社会的バイアスに差分プライバシーはどう影響するか？系統的評価

大規模言語モデル（LLM）は、ウェブスケールのデータで学習されるため、訓練データに含まれる社会的な偏見や個人情報を記憶し、生成するテキストにバイアスが表れるという問題が指摘されています。差分プライバシー（DP）は、個々のデータポイントがモデルの学習に与える影響を制限することで、プライバシーを保護する原理的なフレームワークとして注目されていますが、これがLLMの社会的バイアスにどう影響するかは十分に理解されていませんでした。本研究では、DP-SGD（差分プライバシー勾配降下法）で訓練されたLLMと非DPベースラインを、文スコアリング、テキスト補完、表形式分類、質問応答という4つの異なるパラダイムで比較し、その影響を系統的に評価しました。結果として、DPが文スコアリングタスクにおけるバイアスを低減する傾向がある一方で、他のタスクではより複雑な影響を示すことが明らかになりました。この技術的意義は、プライバシー保護技術が必ずしもすべての種類の社会的バイアスを均一に低減するわけではないという重要な知見を提供し、DP設計のさらなる洗練や、公平性対策との組み合わせの必要性を示唆している点にあります。開発者や政策立案者にとっては、LLMのプライバシーと公平性の両立を目指す上で、より緻密な戦略を練るための基礎情報となります。今後は、DPのメカニズムがバイアスに与える影響をさらに深く解明し、プライバシーと公平性を最適にバランスさせるためのアルゴリズム開発が加速することが期待されます。