arXiv · 机器人与计算机视觉· Jugal Gajjar, Kamalasankari Subramaniakuppusamy·· 12 小时前精选AI 评分78
小视频语言模型的 grounded reasoning 引用是否被使用:反事实测试
Does the Model Use What It Cites? Counterfactual Tests of Grounded Reasoning Chains in Small Video-Language Models
AI 导读
该研究针对小视频语言模型(2-3B)提出一种无需标注的干预测试方法,通过遮蔽模型自身引用的区域或实体来检验答案依赖性。实验显示,在 CLEVRER 任务上引用遮蔽导致的答案翻转率是随机遮蔽同尺寸区域的 2.2 倍,而在 NExT-QA 上差异较小,揭示了常规 grounding 检查无法捕捉到的引用与答案脱钩问题。
推荐理由
提出无需标注的引用干预测试方法,揭示小视频语言模型在 CLEVRER 等任务上存在引用与答案依赖脱钩现象。
来源:arXiv · 机器人与计算机视觉 · arxiv.org