arXiv · 机器人与计算机视觉· Akila Ayanthi, Darshana Priyasad, Tharindu Fernando, Dimity Miller, Sridha Sridharan, Clinton Fookes, Peyman Moghadam·· 20 天前精选AI 评分78
解码几何而非 Token:用于机器人功能与轨迹预测的高效视觉语言模型
Decoding Geometry, Not Tokens: Efficient VLMs for Robot Affordance and Trajectory Prediction
AI 导读
论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。
推荐理由
该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。
来源:arXiv · 机器人与计算机视觉 · arxiv.org