跳到正文
Hugging Face Daily Papers·· 11 天前AI 评分68

On-Policy Distillation 能容忍多少训练 - 推理失配?

How Much Training-Inference Mismatch Can On-Policy Distillation Tolerate?

AI 导读

该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。

来源:Hugging Face Daily Papers · arxiv.org