arXiv · 机器人与计算机视觉· Zhongyu Yang, Jiale Tao, Ruitao Chen, Zuhao Yang, Yingfang Yuan, Xueliang Zhao, Auden, Kai Wang, Shuai Shao, Biao Wang, Steve Yves, Qinglin Lu·· 2026-10-09AI 评分42
OmniCapBench:细粒度音视频描述评估框架
OmniCapBench: A Deep-Structured Evaluation Framework for Fine-Grained Audio-Visual Captioning
AI 导读
OmniCapBench 将音视频描述评估重构为包含实体引用、视觉镜头和音频事件三个轨道的深层结构化诊断框架。该基准利用 786 个高密度标注视频,有效区分大模型在时序定位失败、身份漂移及跨模态错位等感知错误。研究揭示前沿多模态大语言模型虽具强局部感知能力,但在长视界推理上存在局限,为全模态发展提供细粒度路线图。
来源:arXiv · 机器人与计算机视觉 · arxiv.org