跳到正文
arXiv · 机器人与计算机视觉· Yuxi Zheng, Yueqian Lin, Yudong Liu, Zijia Tang, Junyu Pan, Yiheng Wang, Hai Helen Li, Yiran Chen·· 4 小时前精选AI 评分83

超越 Sink 解释:流式 VLA 策略中的径向注意力分析

Beyond the Sink Interpretation: Radial Attention in Flow-Based VLA Policies

AI 导读

该论文在 RoboCasa 任务上测试了流式视觉语言动作模型(VLA)策略中首尾 action tokens 的注意力分布,发现其不符合“高注意力 sink”特征。研究证实 BOS token 才符合 sink 剖面且零化其值能提升成功率;同时验证了相对偏移路由机制在保持闭环成功率方面的有效性。

推荐理由

研究挑战了基于首尾 token 注意力质量的执行视界规则,发现 BOS token 才符合 sink 特征且零化可提升成功率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org