arXiv · 机器人与计算机视觉· Haoran Xu, Tian Chen, Yuhe Wu, Yanbo Zhao, Junchi Liao, Hongyu Wang, Jiaze Li, Wentao Wang, Yanfeng Li, Rui Qian·· 54 分钟前AI 评分74
VisAlloc:为同策略自蒸馏分配视觉监督
VisAlloc: Allocating Visual Supervision for On-Policy Self-Distillation
AI 导读
针对多模态大模型同策略自蒸馏中视觉指导不均的问题,本文提出 VisAlloc 框架。该方法结合样本级证据中心正裁剪与空间位移负裁剪的过滤机制,以及基于 EMA 教师评分差异的 Token 级反事实重加权策略,在保持推理仅需全图学生模型的前提下,于八个基准测试中将 4B 和 9B 模型的宏观平均得分分别提升至 81.44 和 84.92。
来源:arXiv · 机器人与计算机视觉 · arxiv.org