arXiv · 机器人与计算机视觉· Guangzhi Sun, Zhonghao Zhai, Yixuan Li, Chao Zhang·· 2 天前AI 评分74
Video-as-Experience:通过音视频理解学习电脑操作
Video-as-Experience: Learning Computer Use via Audio-Visual Understanding
AI 导读
现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。
来源:arXiv · 机器人与计算机视觉 · arxiv.org