arXiv · 机器人与计算机视觉· Qiangchang Wang, Chong Xiao, Xiaokun Bai, Rundong He, Zhuang Qi, Xusheng Liang, Zhibin Wu, Wenhao Li·· 2 天前AI 评分78
Words Speak Louder? Exploring the Language Shortcut of LLM-Driven Incomplete Multimodal Learning
Words Speak Louder? Exploring the Language Shortcut of LLM-Driven Incomplete Multimodal Learning
AI 导读
论文发现多模态大模型在融合中常过度依赖文本而忽略视觉线索。作者构建 MR-Bench 基准,显示仅凭转录即可解决大部分本需视觉的任务。提出的 Counterfactual-View Reliability (CoVeR) 方法通过让单模态视图互相监督来抑制语言捷径,在不增加推理成本的情况下显著提升了模型对非语言证据的利用能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org