跳到正文
arXiv · 机器人与计算机视觉· Songyuan Sui, Zhen Tan, Mohan Zhang, Rana Muhammad Shahroz Khan, Xia Hu, Tianlong Chen·· 2026-10-06精选AI 评分78

多模态学习中的缺失模态鲁棒性:一种几何视角与参数编辑方法

Do More Modalities Always Help? A Geometric Perspective on Missing-Modality Robustness

AI 导读

论文系统揭示了全模态训练的多模态模型在推理时缺失某一模态反而表现不如单模态模型的异常现象,并将其归因于主参数子空间的结构化旋转。作者提出 Geodesic Unlearning 方法,利用测地线路径将输入子空间向单模态参考修正,在保持全模态精度的同时显著提升了缺失模态下的鲁棒性。

推荐理由

提出基于黎曼几何的参数编辑方法,通过修正主参数子空间结构来解决多模态模型在缺失模态时的性能退化问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org