跳到正文
arXiv · 机器人与计算机视觉· Enzhe Zhao, Marco Fiorucci, Lamberto Ballan·· 27 天前AI 评分55

RankAlign:通过秩变换实现视觉 - 语言表示对齐

RankAlign: Vision-Language Representation Alignment via Rank Transformation

AI 导读

针对无配对模态间难以恢复类级对应关系的问题,本文提出 RankAlign 这一基于秩的归一化策略。该方法将单模态相似度核转化为序数关系表示再进行排列匹配,在保持匹配求解器不变的同时,对相似度值的严格递增重参数化具有不变性。实验表明,该策略在多种冻结视觉与语言编码器及不同数据集上,均能实现更优且更稳定的类级对应恢复,且在标签污染与域偏移场景下表现稳健。

来源:arXiv · 机器人与计算机视觉 · arxiv.org