跳到正文
热点事件观察中

HEED 方法修复混合架构模型蒸馏后的 OCR 性能衰退

1 篇报道1 个报道来源2 天前更新

先了解这件事

AI 综述

针对将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时出现的 OCR 与文档任务性能大幅下降问题,Yihao Liang 和 Niraj K. Jha 提出了 HEED 密度加权残差对齐方法。该方法通过改进蒸馏策略,在保持整体推理效率提升及视觉推理能力不变的前提下,显著修复了特定任务的性能损失。论文公开代码并指出,相比常规端到端蒸馏,HEED 使 OCRBench v2 得分提升 8.7 分,10 个基准测试平均得分提升 5.13 分。

AI 根据报道生成 · 1 天前更新

报道时间线

沿着报道,了解事件的不同侧面。

11月17日
  1. arXiv · 机器人与计算机视觉精选
    HEED:一种用于混合视觉语言模型蒸馏的密度加权残差对齐方法

    论文指出将 Qwen3-VL-8B-Instruct 蒸馏至 3:1 Mamba-2/attention 混合架构时,虽然整体推理效率提升且视觉推理能力保持,但在 OCR 和文档任务上性能大幅下降。

本事件热度走势

可比范围当前
3
可比范围峰值
811月17日 23:00
近 24 小时变化
-51%

趋势仅比较持续完整观测到的相同主体,范围可能小于当前热度统计。移动指针或点击图表查看每小时热度;键盘可用左右方向键切换。