arXiv · 机器人与计算机视觉· Ranjith Chodavarapu·· 2 天前精选AI 评分82
硬负样本微调如何影响多模态大语言模型?来自组合基准的受控证据
What Does Hard-Negative Fine-Tuning Teach Multimodal Large Language Models? Controlled Evidence from a Compositional Benchmark
AI 导读
论文 CompHall 通过受控实验评估了硬负样本微调对多模态大语言模型组合推理能力的影响。研究发现,修正后的损失函数能显著提升空间关系问题的准确率,但该方法存在图像幻觉无关性、泛化能力有限以及引入肯定偏置等局限。
推荐理由
该文通过受控实验揭示了硬负样本微调对多模态大模型组合推理能力的具体提升幅度与局限性,并指出了该方法引入的偏置问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org