arXiv · 机器人与计算机视觉· Nghia Nguyen, Tianjiao Ding, Lachlan Ewen MacDonald, Ren\'e Vidal·· 3 天前精选AI 评分82
CLIP 嵌入中分层概念结构的可证明跨模态转移
Provable Cross-Modal Transfer of Hierarchical Concept Structure in CLIP Embeddings
AI 导读
该论文形式化了 CLIP 嵌入中的层次角分离现象,分析了图像与文本嵌入在对比学习下的不对称性,推导了线性损失和 InfoNCE 损失的闭式解,并通过合成实验验证了理论。材料为 arXiv 预印本,未提及同行评审状态或具体部署结果。
推荐理由
本文从理论上解释了 CLIP 嵌入中层次结构产生的几何机制,并给出了闭式解。
来源:arXiv · 机器人与计算机视觉 · arxiv.org