跳到正文
arXiv · 机器人与计算机视觉· Anupam Pani, Wang Yuan, Qifan Wang, Yanchao Yang·· 2026-10-20精选AI 评分83

GazeAct:用于注意力正则化策略的人眼注视标注操作数据集

GazeAct: A Human-Gaze-Annotated Manipulation Dataset for Attention-Regularized Policies

AI 导读

GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。

推荐理由

该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org