arXiv · 机器人与计算机视觉· Ruofan Wang, Puzuo Wang, Xin Chen, Zibo Yu, Jungang Yang, Yi Hou·· 9 天前AI 评分45
TMT:通过文本衍生的模态知识迁移适配红外图像
TMT: Adapting CLIP to Infrared Imagery via Text-Derived Modality Knowledge Transfer
AI 导读
TMT 模型利用成对可见光 - 红外图像,仅凭文本嵌入差异方向引导 CLIP 图像编码器适配红外成像。该方法引入生成感知协同监督机制,在四个源域不交的红外分类基准上实现最高零样本准确率(48.92%),并在无红外文本监督下取得最佳检索效果与 CART、SemanticRT 数据集上的最高开放词汇分割 mIoU。
来源:arXiv · 机器人与计算机视觉 · arxiv.org