arXiv · 机器人与计算机视觉· Dian Jiao, Yuqian Yuan, Jiaqi Zhu, Mingjian Gao, Siwen Tan, Yunqi Cao, Jinhui Li, Sijing Li, Zhenxuan Fan, Haoyang Wang, Wenqiao Zhang, Siliang Tang·· 10 天前AI 评分58
V-STORM:面向忠实细粒度时空视频推理的结构感知 grounded 思维链数据集
V-STORM: A Structure-Aware Grounded Chain of Thought Dataset for Faithful and Fine-Grained Spatio-Temporal Video Reasoning
AI 导读
针对多模态大模型难以进行细粒度时空推理且现有评估掩盖了证据整合瓶颈的问题,作者提出了 V-STORM 框架,将视频转化为时空场景图并推导出自验证的证据路径。该工作构建了包含 260K 样本的训练集和 3K 人类验证基准,所有数据均带有链接到显式时空证据的 grounded 思维链(GCoT)标注。实验表明微调后模型在答案准确率和证据忠实度上均有显著提升,相关数据集、基准及代码将公开开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org