跳到正文
arXiv · 机器人与计算机视觉· Shijing Wang, Yaping Huang, Chaoqun Cui, David Wong, Yihua Cheng, Alexandros Neophytou, Hyung Jin Chang·· 2026-10-20精选AI 评分82

提升视觉基础模型视线跟随中的视线推理能力

Enhancing Gaze Reasoning in Vision Foundation Models for Gaze Following

AI 导读

论文指出当前视觉基础模型(VFMs)虽提升了场景理解,但在视线推理方面贡献有限,导致依赖语义显著物体而非真实视线线索。为此提出一种新训练机制:通过头条件局部 LoRA 实现局部适应以保留场景 token 学习并优化头部 token 学习,同时引入出锥惩罚将视线线索注入头部 token 并与场景 token 对齐。

推荐理由

针对现有视觉基础模型在视线跟随任务中场景理解强但视线推理弱的局限,提出头条件局部 LoRA 与出锥惩罚机制以增强推理能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org