跳到正文
arXiv · 机器人与计算机视觉· Zhengru Fang, Zehao Liu, Mingyu Tsoi, Yaoyu Zhu, Junlong Li, Fengmao Lv, Sijie Cheng, Yuanliang Sun, Fang Yang, Jun Zhang·· 4 小时前AI 评分63

EgoWitness:第一人称视频流中实例级空间记忆与推理基准

EgoWitness: Benchmarking Instance-Level Spatial Memory and Reasoning in Egocentric Video Streams

AI 导读

论文发布 EgoWitness 基准,涵盖约 324 小时第一人称视频数据及 8,453 个经人工验证的问题,测试模型在识别物体、房间及回忆目击者等七项能力。现有十二种直接视觉语言模型表现不佳,最高准确率仅 46.97%。为此提出 EgoClue 空间记忆智能体,结合检索与推理工具,经两阶段训练后在保留问题集上准确率达 72.65%,泛化环境达 80.56%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org