arXiv · 机器人与计算机视觉· Yisong Hu, Junbo Wang, Yuke Li, Jiangbin Zheng·· 9 天前AI 评分75
HypoKFS:基于假设引导的关键帧选择用于长视频理解
Reason First, Retrieve What Matters: Hypothesis-Guided Keyframe Selection for Long Video Understanding
AI 导读
论文提出 HypoKFS,一种无需训练且即插即用的框架,耦合关键帧选择与多模态大语言模型迭代推理。该方法先对稀疏采样帧进行推理构建初始假设空间,再根据答案分布决定是否需额外选择判别性帧以修正误差。实验在 Video-MME、LongVideoBench 和 MLVU 上验证,准确率最高提升 6.7 个百分点,在 Video-MME 上仅用 1.3% 的参考匹配成本即达到 72.9% 准确率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org