arXiv · 机器人与计算机视觉· Le Su, Xing Luo, Zhi Jin·· 9 天前AI 评分8
MARR:模块自适应残差重建的低比特后训练量化方法
MARR: Module-Adaptive Residual Reconstruction for Low-Bit Post-Training Quantization
AI 导读
MARR 提出一种针对低比特(≤4-bit)后训练量化的残差调节策略,通过为每个模块分配特定缩放系数以平衡累积误差修正与 Hessian-近似偏差。该方法在大型语言模型和视觉 Transformer 上实验,相比残差重建基线实现了高达 20.2% 的困惑度降低和 4.6% 的准确率提升。代码将在论文被接收后公开。
来源:arXiv · 机器人与计算机视觉 · arxiv.org