HEED 方法修复混合架构模型蒸馏后的 OCR 性能衰退
热点事件观察中
HEED 方法修复混合架构模型蒸馏后的 OCR 性能衰退
1 篇报道1 个报道来源2 天前更新
先了解这件事
AI 综述
针对将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时出现的 OCR 与文档任务性能大幅下降问题,Yihao Liang 和 Niraj K. Jha 提出了 HEED 密度加权残差对齐方法。该方法通过改进蒸馏策略,在保持整体推理效率提升及视觉推理能力不变的前提下,显著修复了特定任务的性能损失。论文公开代码并指出,相比常规端到端蒸馏,HEED 使 OCRBench v2 得分提升 8.7 分,10 个基准测试平均得分提升 5.13 分。
AI 根据报道生成 · 1 天前更新
最新进展11月17日 13:00
HEED:一种用于混合视觉语言模型蒸馏的密度加权残差对齐方法报道时间线
沿着报道,了解事件的不同侧面。
11月17日
- arXiv · 机器人与计算机视觉精选HEED:一种用于混合视觉语言模型蒸馏的密度加权残差对齐方法
论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。
本事件热度走势
- 可比范围当前
- 3
- 可比范围峰值
- 811月17日 23:00
- 近 24 小时变化
- -51%
02468
11月18日06:0012:0018:0011月19日
趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。