跳到正文
arXiv · 机器人与计算机视觉· Qingsong Xie, Yanlin Fei, Nazhou Liu, Jiacheng Tang, Madalina Ciobanu, Navan Preet Singh, Qingqing Mao, Ritankar Das·· 2 天前AI 评分43

T2T 技术报告:从视频教程规模化合成 GUI 智能体轨迹

T2T Technical Report: Synthesizing GUI Agent Trajectories at Scale from Video Tutorials

AI 导读

T2T 提出全自动流水线,将桌面、Web 及移动端未标注视频教程转化为结构化可执行交互轨迹。该管线结合主动片段过滤与两阶段动作空间归一化,在百万级无人类标注样本上微调 Qwen3-VL-8B。模型在 OSWorld-G、ScreenSpot-Pro 等基准实现跨应用泛化提升,且无需目标域分布内训练数据。

来源:arXiv · 机器人与计算机视觉 · arxiv.org