跳到正文
arXiv · 机器人与计算机视觉· Yiheng Wang, Lichen Zhu, Yueqian Lin, Yudong Liu, Jingyang Zhang, Hai "Helen" Li, Yiran Chen·· 15 天前AI 评分73

基于证据的关键帧采样方法提升多模态大模型长视频理解能力

Query-Conditioned Evidential Keyframe Sampling for MLLM-Based Long-Form Video Understanding

AI 导读

针对多模态大语言模型处理长视频时受限于上下文长度和计算成本的问题,本文提出一种基于信息论视角的证据驱动关键帧采样框架。该方法通过训练查询条件化的证据评分网络,利用标注的问答支持片段引导模型关注关键区域,并在 LVBench 等基准上显著优于均匀采样及现有策略。

来源:arXiv · 机器人与计算机视觉 · arxiv.org