跳到正文
arXiv · 机器人与计算机视觉· Zhongling Xu, Hairong Wang·· 14 小时前AI 评分70

Practice in Text, Act in Pixels: Correcting Where Perception Fails

Practice in Text, Act in Pixels: Correcting Where Perception Fails

AI 导读

该研究探讨了在模拟移动平台上,基于文本视图训练的 GUI 智能体为何难以迁移到截图视觉输入的问题。作者发现阅读器的误读具有系统性且重复出现,单纯匹配噪声的仿真到现实补救无效。通过仅在阅读器层面进行对齐微调(reader alignment),使其输出与截图对应的文本视图,策略无需重新训练即可在未见任务实例上达到 80.9% 的全任务成功率,显著优于将相同预算用于直接训练策略的 55.6%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org