跳到正文
热点事件持续更新

微调屏幕阅读器提升GUI智能体迁移成功率

1 篇报道1 个报道来源13 小时前更新

先了解这件事

AI 综述

Zhongling Xu 和 Hairong Wang 指出,基于文本视图训练的 GUI 智能体难以迁移到截图视觉输入环境。单纯匹配噪声的仿真补救无效,而通过微调视觉语言屏幕阅读器(reader alignment)使其输出与截图对应,可解决系统性误读问题。 在模拟移动平台上,将有限预算用于对齐微调而非直接训练策略,使未见任务实例的全任务成功率从 55.6% 提升至 80.9%,且单一对齐后的阅读器无需重新训练即可改善所有文本训练策略的效果。

AI 根据报道生成 · 11 小时前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月18日
  1. arXiv · 机器人与计算机视觉
    Practice in Text, Act in Pixels: Correcting Where Perception Fails

    该研究探讨了在模拟移动平台上,基于文本视图训练的 GUI 智能体为何难以迁移到截图视觉输入的问题。作者发现阅读器的误读具有系统性且重复出现,单纯匹配噪声的仿真到现实补救无效。通过仅在阅读器层面进行对齐微调(reader alignment),使其输出与截图对应的文本视图,策略无需重新训练即可在未见任务实例上达到 80.9% 的全任务成功率,显著优于将相同预算用于直接训练策略的 55.6%。

本事件热度走势

可比范围当前
7
可比范围峰值
911月18日 15:00
近 24 小时变化
–

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。