arXiv · 机器人与计算机视觉· Shaoguang Wang, Weiyu Guo, Ziyang Chen, Xuming Hu, Hui Xiong·· 3 天前AI 评分65
Q-Gate:基于查询调制的多模态关键帧选择用于长视频理解
Where to Focus: Query-Modulated Multimodal Keyframe Selection for Long Video Understanding
AI 导读
针对多模态大模型处理长视频序列成本高昂的问题,本文提出 Q-Gate,一种免训练的插件式框架,将关键帧选择视为动态模态路由问题。该方法解耦检索为视觉定位、全局匹配和上下文对齐三个轻量级专家流,并利用 LLM 的上下文推理机制评估查询意图,动态分配权重以激活必要模态并抑制无关模态。
来源:arXiv · 机器人与计算机视觉 · arxiv.org