跳到正文
arXiv · 机器人与计算机视觉· Yijing Chen, Wenhui Tan, Xiaoyi Yu, Yuyue Wang, Xin Cheng, Kaisi Guan, Hao Jiang, Xiangyang Li, Guojie Zhu, Ruihua Song·· 2026-10-06AI 评分62

AVOC:通过检索启发式 Token 压缩增强全模态大模型的长时音频视频理解

AVOC: Enhancing Hour-Level Audio-Video Understanding in Omni-Modal LLMs via Retrieval-Inspired Token Compression

AI 导读

针对多模态大模型在长音频视频理解中面临的上下文窗口受限与信息冗余瓶颈,本文提出 AVOC 框架。该框架在模态编码器与 LLM 骨干之间引入可学习的 Token 压缩模块,将压缩任务重构为 Top-K 检索问题,依据相关性、重要性和多样性三个标准筛选关键信息单元。

来源:arXiv · 机器人与计算机视觉 · arxiv.org