跳到正文
arXiv · 机器人与计算机视觉· Guangzhi Sun, Zhonghao Zhai, Yixuan Li, Chao Zhang·· 2 天前AI 评分74

Video-as-Experience:通过音视频理解学习电脑操作

Video-as-Experience: Learning Computer Use via Audio-Visual Understanding

AI 导读

现有方法多将视频转为截图轨迹,未直接利用丰富信息。本文提出 VEX 框架,基于 watch-act-rewatch 范式从教程视频中提取指导并自我验证。实例化模型 video-SALMONN-VEX 在 OSWorld 上任务成功率相对提升 22%,其生成的指导使 Gemini-3.5-flash 性能相对提升 10%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org