arXiv · 机器人与计算机视觉· Yihao Liang, Niraj K. Jha·· 2 天前精选AI 评分82
HEED:一种用于混合视觉语言模型蒸馏的密度加权残差对齐方法
HEED: Density-Weighted Residual Alignment for Hybrid Vision-Language Model Distillation
AI 导读
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
推荐理由
针对混合架构蒸馏中 OCR 任务失效问题,提出无需额外参数的密度加权残差对齐方法 HEED,在保持推理效率的同时显著提升细粒度文本理解能力。
来源:arXiv · 机器人与计算机视觉 · arxiv.org