arXiv · 机器人与计算机视觉· Peiran Wu, Fangfei Gou, Zhaoxi Mu, Changhao Zhang, Jian Liu, Weiqiang Wang, Yuntao Wang, Yuanchun Shi, Junxiao Shen·· 14 天前精选AI 评分83
SleuthVLM:我们真的需要视频中的音频吗?
SleuthVLM: Do We Really Need Audio-in-Video for Omni Video Understanding?
AI 导读
论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。
推荐理由
该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。
来源:arXiv · 机器人与计算机视觉 · arxiv.org