DuoJEPA:未对齐自监督嵌入空间间的跨模态翻译方法
该论文提出 DuoJEPA 框架,通过在每个模态编码器后附加变换层实现跨模态翻译,而无需直接比较两个嵌入空间的损失函数。实验表明,在 CheXpert Plus 数据集上该方法实现了 86.6 的零样本 AUC 和 78.5 的检索分数;在 Sentinel-2 与 Sentinel-1 遥感影像对上,冻结编码器下的跨模态检索成功率介于 77% 至 79%。
推荐理由:提出无需直接对齐嵌入空间的跨模态翻译架构,在医学影像与遥感数据上验证了零样本检索性能。