跳到正文
arXiv · 机器人与计算机视觉· Junbo Zhang, Hang Su, Zhaofan Li, Hang Dong, Chao Sun·· 10 天前AI 评分73

BYOAVP:面向音视频分割的自适应对比与原型学习框架

Bootstrap Your Own AV-Proxies: Adaptive Contrastive and Prototype Learning for Audio-Visual Segmentation

AI 导读

针对音视频分割任务中单模态语义不完整及跨模态语义差距大的挑战,本文提出 BYOAVP 框架。该方法设计自监督音频增强模块以对齐音频表示与视觉嵌入,并开发动态原型约束模块利用动量更新优化像素级类别感知与定位能力。实验表明该框架在两个基准数据集的六个子任务上均达到最先进性能,展现出强鲁棒性与泛化性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org