跳到正文
arXiv · 机器人与计算机视觉· Juyi Lin, Zhiqiang Lao, Jiali Cui, Lin Zhao, Pu Zhao, Dichang Zhang, Arman Akbari, Yu Qi, Xinru Jiang, Yanzhi Wang, Heather Yu, Liang Peng·· 2026-10-16精选AI 评分82

LEAP:用于长音频视频感知的学习式块级证据检索

LEAP: Learned Block-wise Evidence Retrieval for Long Audio-Video Perception

AI 导读

LEAP 是一种处理小时级音视频问答的新框架,通过轻量级定位将录音划分为固定时长块并筛选高分候选窗口,再在单轮受控上下文中进行回答生成,从而突破上下文长度限制。该方法支持流式推理且无需针对流式训练,在多个基准测试中分别比 Qwen3-Omni-30B-A3B 基线提升 4.5%至16.8%,并成功迁移至 MiniCPM-o 4.5 模型使其超越已发表结果。

推荐理由

LEAP 框架通过块级证据检索解决长音频视频问答的上下文限制,在多个基准上显著优于 Qwen3-Omni-30B-A3B 基线。

来源:arXiv · 机器人与计算机视觉 · arxiv.org