arXiv · 机器人与计算机视觉· Masatoshi Tateno, Alexandros Stergiou, Risa Shinoda, Yoichi Sato, Dima Damen·· 14 小时前AI 评分72
自眼视角视频语言模型能否同时捕捉手部与物体中心线索?
Do Egocentric Video-Language Models Capture Both Hand- and Object-Centric Cues?
AI 导读
针对现有仅基于自眼视角视频训练的视觉语言模型(VLM)过度依赖手部外观、难以区分动态相似但操作不同的交互问题,本文提出了一种结合手 - 对象掩码训练与 HOI 动力学感知解码器的新范式。研究构建了 DEHOI 测试床,利用视频修复技术选择性移除手部或物体以独立评估线索贡献度。实验表明,该范式有效缓解了模型对手部中心线索的偏见,在动作识别和物体状态识别基准上优于仅使用自眼视角数据的 VLM。
来源:arXiv · 机器人与计算机视觉 · arxiv.org