arXiv · 机器人与计算机视觉· Zhuoming Liu, Jinhong Lin, Kwan Man Cheng, Lin Zhang, Shayok Bagchi, Yin Li·· 22 天前精选AI 评分82
DRIFT:一种用于解码视觉语言模型连续输出的残差流适配器
DRIFT: A Residual Flow Adapter for Decoding Continuous Outputs in Vision-Language Models
AI 导读
针对现代视觉语言模型(VLM)难以处理需要精确连续输出的问题(如事件时间边界定位或机器人控制动作),本文提出 DRIFT 框架,结合基础预测器与基于流匹配的生成细化模块。该残差公式将全局分布学习转化为局部残差建模,简化优化过程。研究在感知和规划任务上评估了该方法,涵盖多模态大模型、视觉语言动作模型及世界动作模型等多种架构,结果显示 DRIFT 一致优于现有的回归和生成类解决方案。
推荐理由
提出 DRIFT 框架,利用流匹配残差适配器解决 VLM 连续输出难题,在感知与规划任务上优于回归及生成基线。
来源:arXiv · 机器人与计算机视觉 · arxiv.org