arXiv · 机器人与计算机视觉· Shuhan Li, Huankang Guan, Xintong Guo, Yang Bo, Yuyang He, Dunyuan Xu, Jingyan Chen, Fang Liu, Tsz Kin Wan, Jinpeng Chen, Zhenqi He, Yuxuan Hu, Wenbo Li, Han Gao, Qijun Li, Long Chen, Hongsheng Li, Rui Liu·· 6 天前精选AI 评分78
超越问答:学习先说话再行动的流式视频大模型
Beyond Answering: Learning to Speak First and Act in Streaming Video
AI 导读
论文介绍 AURA 2.0,这是一个流式视频大语言模型,具备模型发起对话、流式工具调用和交互式视觉定位等核心升级能力。作者构建了专用数据集并采用三阶段训练方案整合新行为,引入长视界交互记忆以维持上下文连续性。公开基准测试显示其在开源流式模型中表现领先,相关权重与推理代码已开源。
推荐理由
该预印本提出 AURA 2.0,通过模型发起对话、流式工具调用及交互式视觉定位等升级,在开源流式视频大模型中表现领先。
来源:arXiv · 机器人与计算机视觉 · arxiv.org