跳到正文
arXiv · 机器人与计算机视觉· Aadi Chauhan, Arthur Ilyasov·· 2026-10-07AI 评分48

Decoupling What from Where:小 GUI 定位模型接收动作类型的最佳方式研究

Decoupling What from Where: How Should a Small GUI Grounding Model Receive the Action Type?

AI 导读

针对微调 Qwen2-VL-2B 在 Android in the Wild 数据集上的动作类型输入问题,研究发现辅助损失、加法嵌入和提示词使 [email protected] 提升五至七个百分点。移除预处理中钳制离屏触摸点的序列化器后,基线准确率提升近七点,此时无机制超越且排除了两点效应。注入 conditioning 会导致图像 token 回退至一维位置并损失九分,该预印本代码与日志已公开。

来源:arXiv · 机器人与计算机视觉 · arxiv.org