arXiv · 机器人与计算机视觉· Yusuf Shihata·· 6 天前AI 评分71
基于分解 JEPAs 的非对称多模态学习
Asymmetric Multimodal Learning with Decomposed JEPAs
AI 导读
论文指出在多模态表示学习中,单纯的对齐目标会在信息不对称场景下丢失私有结构与跨模态协同效应。为此提出分解 JEPA(D-JEPA),将潜在变量分解为对齐共享核心与恢复被丢弃信息的私有特征纤维。实验表明该方法避免了组合推理基准上的语义坍塌,恢复了正的多模态协同差距,并在下游任务上大幅提升了准确率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org