arXiv · 机器人与计算机视觉· Hongxu Ma, Guang Li, Shijie Wang, Dongzhan Zhou, Suorong Yang, Baoli Sun, Takahiro Ogawa, Miki Haseyama, Zhihui Wang·· 14 小时前AI 评分65
难度感知统计匹配用于数据集蒸馏
Difficulty-Aware Statistical Matching for Dataset Distillation
AI 导读
针对现有数据集蒸馏方法忽略样本难度差异的问题,本文提出难度感知统计匹配(DSM)方法。该方法利用全局难度分数对原始数据进行排序并分组,在蒸馏过程中通过分难度组更新教师网络批量归一化统计量,并提供初始样本筛选以优化匹配起点。实验表明 DSM 能拓宽蒸馏样本的难度范围并提升最终性能。代码将发布。
来源:arXiv · 机器人与计算机视觉 · arxiv.org