跳到正文
arXiv · 机器人与计算机视觉· Frank F. Yang, Kefei Yan, Yiren Wang, Yiyang Wang·· 2026-10-16AI 评分73

Do As I Do, Not As I Say:On-Policy Distillation 在视觉语言模型中继承了教师

Do As I Do, Not As I Say: On-Policy Distillation Inherits the Teacher in Vision-Language Models

AI 导读

该研究对比了监督微调与同策略蒸馏在视觉语言模型中的表现,发现当教师可靠性不足时,同策略蒸馏不仅效果较差,还会继承教师的失败模式并削弱学生模型的完成率。过滤演示的完整性可恢复部分优势。代码已开源。

来源:arXiv · 机器人与计算机视觉 · arxiv.org