arXiv · 机器人与计算机视觉· Liangjian Wen, Qun Dai, Jiang Duan, Yong Dai, Jianzhuang Liu, Dongkai Wang, Jun Wang, Fuyuan Cao, Zenglin Xu, Zhao Kang·· 13 天前AI 评分49
InfMasking:统一变分框架实现协同多模态学习
InfMasking: A Unified Variational Framework for Synergistic Multimodal Learning
AI 导读
InfMasking 提出一种基于无限掩码的统一多模态学习框架,在融合前随机掩蔽各模态特征以强制模型学习跨模态交互模式而非依赖主导模态。该方法通过优化闭式变分界值,在多个基准测试中提升了预测性能并提高了任务标签协同性的均值 PID 估计与 InterSHAP 归因得分。代码已公开,论文已被 IEEE TPAMI 接收发表。
来源:arXiv · 机器人与计算机视觉 · arxiv.org