跳到正文
arXiv · 机器人与计算机视觉· Nghia Nguyen, Tianjiao Ding, Lachlan Ewen MacDonald, Ren\'e Vidal·· 3 天前精选AI 评分82

CLIP 嵌入中分层概念结构的可证明跨模态转移

Provable Cross-Modal Transfer of Hierarchical Concept Structure in CLIP Embeddings

AI 导读

该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。

推荐理由

本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。

来源:arXiv · 机器人与计算机视觉 · arxiv.org