跳到正文
arXiv · 机器人与计算机视觉· Seonghoon Yu, Dongjun Nam, Byung-Kwan Lee, Jeany Son·· 10 天前AI 评分72

Hide to See:基于视觉锚定的 VLM 蒸馏中推理前缀掩蔽方法

Hide to See: Reasoning-prefix Masking for Visual-anchored Thinking in VLM Distillation

AI 导读

针对现有视觉语言模型(VLM)的 think-answer 方法存在计算成本高及学生模型易出现视觉遗忘的问题,本文提出一种新型蒸馏框架。该方法通过掩蔽学生模型在推理过程中的显著前缀,迫使其在生成后续 token 时更多依赖视觉证据而非文本线索。

来源:arXiv · 机器人与计算机视觉 · arxiv.org