跳到正文
arXiv · 机器人与计算机视觉· Zichuan Fu, Shirong Wang, Wenlin Zhang, Guojing Li, Yimin Deng, Jingtong Gao, Junjia Qi, Hanyu Yan, Yefeng Zheng, Xiaopeng Li, Wanyu Wang, Xian Wu, Xiangyu Zhao·· 17 天前精选AI 评分82

GUI-Lens:通过粗到细裁剪实现通用 VLM 的精确 GUI 定位

GUI-Lens: Enabling Precise GUI Grounding for Off-the-Shelf VLMs via Coarse-to-Fine Cropping

AI 导读

该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。

推荐理由

提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。

来源:arXiv · 机器人与计算机视觉 · arxiv.org