Hugging Face Daily Papers·· 9 天前AI 评分48
Qwen3-0.6B 在 GSM8K 基准上实现按需精度:仅在解码步不确定性高时从 4 位提升至 8 位权重,成本仅增加 15% 且保持性能接近全 8 位模式
Precision on Demand: Escalating Weight Bits at Uncertain Decoding Steps in a Small Local Model
AI 导读
Qwen3-0.6B 模型通过仅在低精度输出分布熵值超过阈值或前二优势不足时,将解码步骤的权重精度从 4 位动态提升至 8 位。在 GSM8K 基准的 150 个真实问题测试中,该策略以仅增加 15% 的权重读取成本,实现了与全高精度模式相近的性能表现。研究验证了推测机制能在相似字节数下达到零 KL 散度,但未运行随机控制、思维模式规则及第二个模型的对比实验。
来源:Hugging Face Daily Papers · arxiv.org