Black-Box Vision-Languageモデル向けZero-Shotプロンプトリウェイト「CARPRT」

事前学習済みVision-Languageモデル（VLM）は、テキスト記述と画像の類似度を計算することでZero-Shot画像分類を可能にし、その汎用性の高さから広く注目されています。しかし、この分類の性能は、入力プロンプト（例：「a photo of a [CLASS_LABEL]」）の選択に大きく左右されます。既存の研究では、複数のプロンプトをアンサンブルし、重み付けベクトルを用いてスコアを集約することで精度を向上させてきましたが、これらの重み付けベクトルは全てのクラスで共通に設定されていました。

このクラス共通の重み付けアプローチは、プロンプトがクラスから条件付きで独立しているという暗黙の仮定に基づいていますが、実際にはこの仮定は常に成立しません。例えば、「an aerial view of」というプロンプトは「airport」クラスには適していますが、「cat」クラスには不適切です。このようなプロンプトとクラス間の条件付き依存性を無視することは、VLMの潜在能力を十分に引き出せない原因となっていました。

今回提案されたCARPRT（Class-Aware Zero-Shot Prompt Reweighting）は、この課題を解決するために、クラスごとに異なるプロンプト重み付けを適用するフレームワークです。CARPRTは、各クラスにとって最適なプロンプトの組み合わせと重み付けを動的に決定することで、VLMの分類性能を向上させます。これにより、より文脈に適した情報がVLMに提供され、結果としてより正確なZero-Shot画像分類が実現します。

技術的意義としては、VLMの活用におけるプロンプトエンジニアリングの高度化に貢献する点が挙げられます。特に、ファインチューニングが困難なブラックボックスモデルや、ラベルデータが不足しているZero-Shotシナリオにおいて、モデルの性能を向上させる実用的な手法として期待されます。これにより、新しいドメインやタスクへのVLMの適用がより容易になり、画像検索、物体認識、医療画像解析など、多岐にわたる分野でのAI応用が加速するでしょう。

今後の展望として、CARPRTのようなクラス認識型プロンプト重み付け手法は、VLMのロバスト性と汎用性をさらに高めるための標準的なアプローチとして普及する可能性があります。また、より複雑なプロンプト構造や、マルチモーダルな入力に対する最適化手法の研究も進むことで、VLMの知的な能力がさらに拡張されることが期待されます。これにより、人間が自然言語で与える指示を、AIがより深く理解し、意図に沿った処理を行う未来が近づくでしょう。