跳到正文
arXiv · 机器人与计算机视觉· Jiameng Li, Minye Wu, Jiezhang Cao, Aleksei Tiulpin, Matthew B. Blaschko·· 2 天前AI 评分58

EchoPrune:将冗余视为时间回声以实现高效视频大语言模型

EchoPrune: Interpreting Redundancy as Temporal Echoes for Efficient VideoLLMs

AI 导读

针对长视频理解中密集采样导致视觉 token 过多、稀疏采样易丢失关键证据的问题,论文提出 EchoPrune 方法。该方法无需训练,通过将冗余视频 token 解释为可重建的时间回声来区分新事件与重复信息。利用查询引导的跨模态相关性和帧间对应匹配计算时间重建误差对 token 评分,在固定解码预算下使模型能处理多至20倍帧数,在 LLaVA-OV-7B 上实现5.6倍的推理加速和5%的性能提升。

来源:arXiv · 机器人与计算机视觉 · arxiv.org