跳到正文
arXiv · 机器人与计算机视觉· Peiran Wu, Fangfei Gou, Zhaoxi Mu, Changhao Zhang, Jian Liu, Weiqiang Wang, Yuntao Wang, Yuanchun Shi, Junxiao Shen·· 14 天前精选AI 评分83

SleuthVLM:我们真的需要视频中的音频吗?

SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?

AI 导读

论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。

推荐理由

该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。

来源:arXiv · 机器人与计算机视觉 · arxiv.org