跳到正文
arXiv · 机器人与计算机视觉· Liangjian Wen, Jiangtao Zheng, Jiang Duan, Qun Dai, Yong Dai, Jianzhuang Liu, Jun Wang, Shu-Dong Huang, Xinwang Liu, Zenglin Xu, Zhao Kang·· 13 天前AI 评分42

MIIB:基于部分信息分解的多模态自监督学习新框架

Multimodal Information Interactions Bottleneck for Multimodal Self-Supervised Learning

AI 导读

针对多模态数据异质性与交互复杂性问题,研究提出基于部分信息分解的 MIIB 框架,通过双路径架构显式编码冗余、独特与协同信息。该方法利用变分界与基于分数的熵估计优化目标,无需显式互信息估算即可捕捉跨模态交互并抑制冗余信息。实验在多个基准上验证了其对现有最先进多模态自监督方法的持续改进效果。

来源:arXiv · 机器人与计算机视觉 · arxiv.org