跳到正文
arXiv · 机器人与计算机视觉· Wish Suharitdamrong, Muhammad Awais, Xiatian Zhu, Sara Atito·· 15 天前精选AI 评分78

从感知到决策:多模态大模型中听觉与视觉感知的信息流研究

From Senses to Decisions: The Information Flow of Auditory and Visual Perception in Multimodal LLMs

AI 导读

该论文首次系统揭示了视听大模型(AVLLMs)内部音频和视觉信号如何影响最终预测的路径机制。研究发现,在音视频输入配置下,模型遵循既有的顺序信息流路径;而在多重交错输入设置下,路由会转向不同的并行流。

推荐理由

首次揭示视听大模型内部信息流路径,证实丢弃已传递的视听 token 可提升推理效率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org