跳到正文
arXiv · 机器人与计算机视觉· Shaden Shaar, Bradon Thymes, Majd Aldaye, Claire Cardie, Bharath Hariharan·· 16 天前AI 评分42

LF-VideoQA:基于心智理论长视频问答的评估基准

LF-VideoQA: Evaluating Long-Video Understanding with Long-Form Theory-of-Mind Questions

AI 导读

LF-VideoQA 数据集包含 94 部影片超 6300 个需跨场景推理的心智理论问题,平均跨度 23 分钟。评测显示最佳开源视觉语言模型召回率仅为拥有剧本的预言家模型的一半,且字幕表现逊于视频本身。该数据集完全自动构建并附带评分细则,旨在纠正现有长视频任务过度简化为检索的问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org