跳到正文
arXiv · 机器人与计算机视觉· JunYeong Park, Shijing Wang, Seonwook Park, Michael Stengel, Shalini De Mello, Sang-Il Choi, Hyung Jin Chang·· 12 小时前AI 评分48

Nunchi:语音线索辅助眼神追踪解决多人对话歧义

Nunchi: Ears Help Eyes in Multi-Party Conversations

AI 导读

Nunchi 框架通过结合转录文本与说话人模型输出,利用视觉语言模型权衡几何视线与对话线索以精准识别多人场景中的注视对象。在包含 3,340 个样本的 SORBET 基准测试中,该方法比最强现有方法准确率提升 4.8 个百分点,且增益在三种 VLM 及自动转录条件下均成立。

来源:arXiv · 机器人与计算机视觉 · arxiv.org