電話使用エージェントを強化するPhoneHarness：GUI、CLI、ツールアクションの混合ベンチマーク

近年のモバイルエージェント研究は、主にGUI（グラフィカルユーザーインターフェース）操作に焦点を当ててきましたが、実際の電話使用タスクは、アプリのGUI操作だけでなく、デバイス側のコマンドラインインターフェース（CLI）や構造化されたツール（APIなど）の活用を必要とします。PhoneHarnessは、このギャップを埋めるために開発された、混合アクションベンチマークおよび実行ハーネスです。これは、GUI、CLI、ホスト側のツールアクションを組み合わせたエージェントループをデバイス上で実行し、意図されたサイドエフェクトが実際に発生したかを検証する機能を提供します。これにより、エージェントは単に画面上のタップやスワイプを予測するだけでなく、「いつ、どのインターフェース（GUI、CLI、ツール）を使うべきか」を自律的に判断し、タスクを確実に完了させることが求められます。技術的意義は、モバイルエージェントの評価基準と開発パラダイムを、より現実的で複雑なシナリオへと進化させる点にあります。PhoneHarnessは、エージェントが多様なインターフェースを横断的に利用し、タスクの達成度を検証できる能力を測るための標準的なフレームワークを提供します。これにより、開発者は、より堅牢で実用的な電話使用エージェントを構築できるようになり、ユーザーは、より高度なモバイル自動化やパーソナルアシスタントを享受できると期待されます。今後は、このベンチマークを通じて、エージェントの多様なアクション実行能力と検証メカニズムの改善が進むでしょう。