arXiv · 机器人与计算机视觉· Asher James Hancock, Boyi Li, Yuxiao Chen, Shuhan Tan, Wenhao Ding, Thomas Tian, Yan Wang, Boris Ivanovic, Marco Pavone·· 15 天前AI 评分74
动作专家应训练 VLM 吗?混合 Transformer VLA 中的动作 Token 监督与梯度路由研究
Should the Action Expert Train the VLM? Action-Token Supervision and Gradient Routing in Mixture-of-Transformer VLAs
AI 导读
该论文研究了在视觉语言动作(VLA)模型中,是否应将预训练的视觉语言模型(VLM)与动作专家的梯度回传进行隔离。研究发现,当对 VLM 施加动作 Token 监督时,隔离策略在自动驾驶和机器人操作任务中与联合训练表现相当;但在缺乏动作 Token 监督的情况下,联合训练能显著降低轨迹预测误差并提升闭环驾驶路线进展及机器人操作性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org