跳到正文
arXiv · 机器人与计算机视觉· Arman Hatami, Romina Aalishah, Ilya E. Monosov·· 10 天前AI 评分58

视觉语言模型中的潜在学习:无关数据如何影响偏好与解释

Subliminal Learning in Vision-Language Models

AI 导读

该研究调查了潜在学习在视觉语言模型(VLM)中的发生情况。研究人员微调教师 VLM 以产生特定动物或面部属性的偏好,并利用其生成的数字对无关的几何形状任务进行学生模型的微调。实验发现,这种偏好能跨 2B 至 7B 参数的模型传递,且学生模型在训练数据中表现出与教师相似的用词习惯。该研究结果对于理解 VLM 的训练影响及无关数据的潜在副作用具有重要意义。

来源:arXiv · 机器人与计算机视觉 · arxiv.org