跳到正文
arXiv · 机器人与计算机视觉· Shubham Gupta, Siva Reddy, Perouz Taslakian, Valentina Zantedeschi, Cem Subakan·· 24 天前AI 评分60

通过单纯形约束表示缩小模态差距

Closing the Modality Gap via Simplex-Constrained Representations

AI 导读

针对 CLIP 等多模态对比模型存在的持久模态差距问题,本文提出一种纯几何方法:将嵌入域从单位球改为概率单纯形,利用其非负和单位质量约束作为跨模态校准机制。实验在五个多模态检索基准上显示,该方法结合轻量级 softmax 适配器和总变异性相似度,将中心点 L2 差距降低了 97%--99%,检索性能匹配或超过标准无约束模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org