arXiv · 机器人与计算机视觉· Mengyu Yang, You Zhang, Vishnu Raj, Olha Townsend, James Hays, Andrea Fanelli, Gautam Bhattacharya·· 2 天前AI 评分35
Learning Spatially Aware Audio-Visual Features from Videos with Mono Audio 提出新模型
Learning Spatially Aware Audio-Visual Features from Videos with Mono Audio
AI 导读
针对现有空间模型泛化差、语义模型缺失空间特征的问题,该研究引入能联合双耳音频与视觉进行时空推理的新模型。通过开发自动管线定位声源并渲染双耳音频以扩展 VGGSound 数据集规模,实现了在空间推理任务上的性能提升及更好的泛化能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org