arXiv · 机器人与计算机视觉· Kim Sung-Bin, Lee Jung-Mok, Jinwoo Jung, Oh Hyun-Bin, Hyeonggon Ryu, David Harwath, Tae-Hyun Oh·· 2026-10-16AI 评分58
Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
Hear, Localize, and Reason: Spatially Aware Scene Understanding for Audio-Visual LLMs
AI 导读
该论文介绍了 HLR-AVSceneQA 基准和 HLR-LLM 模型,旨在解决现有视听大语言模型在空间感知与关系推理上的局限。HLR-LLM 通过增加双耳空间音频分支并采用包含思维链监督的课程学习进行训练,实验表明其在提升空间场景理解的同时未损害语义感知能力。材料为 NeurIPS 2026 预印本,提供了基准定义、模型架构及实验结果对比。
来源:arXiv · 机器人与计算机视觉 · arxiv.org