跳到正文
arXiv · 机器人与计算机视觉· Dengyao Shi, Tianyu Fu, Fei Hu, Anyang Su, Hanning Wang, Shuo Wang, Minghui Wu, Chenxu Zhao, Zhen Lei·· 13 天前精选AI 评分78

BiGrounder:双向训练释放 GUI 定位潜力

BiGrounder: Bidirectional Training Unlocks the Potential of GUI Grounding

AI 导读

BiGrounder 针对图形用户界面(GUI)定位任务,提出一种双向奖励范式以解决传统端到端训练对语言变化鲁棒性不足的问题。该方法在监督微调阶段让模型从目标坐标生成动作描述,并在强化学习阶段采样语义一致的指令变体进行自循环验证,将模型自身的策略转化为持续更新的强化轨迹。

推荐理由

提出双向训练范式,利用模型自身策略生成强化学习轨迹,在五个基准测试中取得竞争性精度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org