跳到正文
arXiv · 机器人与计算机视觉· Yifu Sun, Parthasaarathy Sudarsanam, Tuomas Virtanen, Archontis Politis·· 20 天前AI 评分38

AVPS-360:首个融合空间音频与视觉的实例分割基准

AVPS-360: A Spatial Audio-Visual Benchmark for Instance Segmentation and Tracking of Sound-Producing Persons

AI 导读

AVPS-360 是一个基于 STARSS23 构建的空间视听基准,包含 230 段共 10.5 小时的录音视频数据及 31,678 个人工标注掩码。该基准利用一阶 Ambisonics 音频与同步 360°视频,解决了单声道缺乏空间线索导致的声音源区分难题。实验表明,现有视听实例分割方法在长时断续发声场景下表现不佳,而提出的基线模型显著提升了检测与身份关联性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org