跳到正文
arXiv · 机器人与计算机视觉· Yehua Huang, Penglei Sun, Xiang Li, Jinhao Zhou, Jiawen Wen, Qingqing Xiao, Zihan Yang, Wenqi Wang, Haolan Chen, Yu Xu, Xiaowen Chu·· 2 天前精选AI 评分80

仅识别事件不足:流式 VLM 在组合指令触发上的困境及 TEMPI 解决方案

Recognizing Events Is Not Enough: Why Streaming VLMs Struggle in Compositional Instruction Triggering

AI 导读

本文指出单纯识别个体事件无法保证流式视频中组合指令的正确执行,引入 CoTriggerBench 基准验证通知时机与静默问题,并提出实时 VLM 智能体 TEMPI。TEMPI 通过分解原子查询、维护场景记忆及重叠视觉编码优化推理管道,在 8 GB RTX 5060 上实现 4.90 倍加速,指令级成功率达 44.4%,优于最强闭源与开源基线。材料为预印本论文,未涉及真实机器人部署或量产许可。

推荐理由

提出 TEMPI 智能体与 CoTriggerBench 基准,解决流式视频理解中的时序指令触发难题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org