arXiv · 机器人与计算机视觉· Qiming Huang, Peixi Liu, Jianbo Jiao·· 8 天前AI 评分55
TIB:超越对齐假设的多模态归因的样本级调节信息瓶颈
TIB: Sample-wise Tempered Information Bottleneck for Multimodal Attribution beyond Alignment Assumption
AI 导读
该论文针对多模态归因任务中依赖成对模态作为代理监督、隐含语义对齐假设的问题,指出在存在部分语义不对齐和不可靠跨模态对应时,传统基于全局充分性压缩的信息瓶颈目标会导致后验过度收缩。作者提出 TIB 框架,通过样本级调节根据跨模态可靠性自适应调整归因强度,无需假设语义对齐。实验在受控基准和大规模数据集上验证了该方法的有效性及其对识别出的失效模式的纠正能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org