arXiv · 机器人与计算机视觉· Vu Vo, Haytham M. Fayek, Thuy Nguyen·· 16 天前精选AI 评分82
Probe-Guided Gradient Balancing for Multimodal Learning
Probe-Guided Gradient Balancing for Multimodal Learning
AI 导读
针对联合训练的多模态网络常因强模态主导而忽视弱模态的问题,本文提出 Probe-Guided Gradient Boosting (PGGB) 方法。该方法为各模态附加轻量级线性分类器以独立估计表征质量,利用由此产生的利用率差距信号,在保持强模态强度的同时自适应增强弱模态梯度。实验表明 PGGB 在高度不平衡的多模态数据集上优于最先进方法,且代码已开源。
推荐理由
提出 Probe-Guided Gradient Boosting 方法,通过独立评估模态表征质量来自适应增强弱势模态梯度,解决多模态网络中强模态主导问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org