arXiv · 机器人与计算机视觉· Anindya Nag, Ambuj Mehrish, Sebastiano Vascon·· 16 天前AI 评分75
Fuse To Align:基于超图正则化的多模态表示学习用于检索
Fuse To Align: Multimodal Representation Learning for Retrieval via Hypergraph Regularization
AI 导读
针对多模态检索中视图缺失、噪声或信息不均的问题,提出训练时超图融合框架,连接样本内及语义相关样本间的观测,使表示学习能利用跨样本证据且推理端无需额外成本。实验在 11 个零样本视频 - 文本和音频 - 文本检索基准上验证,加权配置 wRHG 在所有 34 次比较中优于 GRAM,并在 33/34 次比较中优于 HyperGRAM;缺失模态评估下,即使 90% 片段缺一种模态,仍保持正向增益。
来源:arXiv · 机器人与计算机视觉 · arxiv.org