跳到正文
arXiv · 机器人与计算机视觉· Hao Yang, Shuoyang Liu, Xiaoyu Lin, Zhou Fang, Maji Huang, Zhaosong Huang, Ruichao Mao, Teng Guo, Hai Rao·· 16 天前精选AI 评分78

UI-UG 2:基于细粒度监督与强化学习的移动端界面理解与生成模型

UI-UG 2: Advancing Mobile UI Understanding and Generation with Fine-Grained Supervision and Reinforcement Learning

AI 导读

论文发布 UI-UG 2,这是一个参数量为 4B 的多模态大语言模型(MLLM),旨在推进移动端界面的理解与生成功能。该模型构建了包含 RICO、VINS 等数据源的多元理解语料库,并采用前端对齐的 80 类两级界面分类法。

推荐理由

该工作提出 UI-UG 2,通过前端对齐的细粒度监督与在线强化学习提升移动端界面理解与生成能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org