arXiv · 机器人与计算机视觉· Xiaoxing Hu, Kaicheng Yang, Ziqi Ye, Ziyang Gong, Qi Ming, Zonghao Guo, Yu Tian, Xiang An, Ziyong Feng, Xue Yang·· 27 天前AI 评分62
ProCLIP:通过基于 LLM 的嵌入器实现渐进式视觉语言对齐
ProCLIP: Progressive Vision-Language Alignment via LLM-based Embedder
AI 导读
针对原 CLIP 文本编码器输入长度受限且不支持多语言的问题,研究提出 ProCLIP 框架以解决将 LLM 嵌入器与 CLIP 图像编码器直接对齐时破坏预训练知识的挑战。该方法先蒸馏 CLIP 文本编码器的知识至 LLM 嵌入器建立初始对齐,再通过图像 - 文本对比调优及自蒸馏正则化进一步对齐,并引入实例语义损失和嵌入结构损失以优化表示继承与调准过程。代码已公开。
来源:arXiv · 机器人与计算机视觉 · arxiv.org