跳到正文
arXiv · 机器人与计算机视觉· Moshiur Farazi, Sameera Ramasinghe, Bekir Sait Ciftler, Mahbub Ahmed Turza, Shafin Rahman·· 16 天前AI 评分72

《The Gate Always Closes:向冻结视觉语言模型注入辅助信号的失效分析》论文发布

The Gate Always Closes: On Injecting Auxiliary Signals into Frozen Vision-Language Models

AI 导读

该研究针对冻结的视觉语言模型(VLM)中常见的可学习门控机制进行了实验,发现跨熵微调下优化器总是将门关闭。通过双曲视觉关系图实验,作者归因于梯度死亡和负效用两种机制。消融测试表明,未归一化的门控前缀在推理时有害,而规范对齐设计行为上关闭但保留生成能力。研究开源了实现、检查点和结果文件。

来源:arXiv · 机器人与计算机视觉 · arxiv.org