arXiv · 机器人与计算机视觉· Daniele Solombrino, Antonio Andrea Gargiulo, Alessandro Zirilli, Luca Zhou, Adrian Robert Minut, Emanuele Rodol\`a·· 13 天前AI 评分75
通过权重空间算术实现零样本量化
Zero-Shot Quantization via Weight-Space Arithmetic
AI 导读
该研究提出利用从源任务提取的‘量化向量’来修补目标模型,从而在不进行接收端量化感知训练的情况下,将 3 位量化的 Top-1 准确率提升最高达 60%。该方法在多个视觉与语言模型及超过 30 个任务上均显示出显著增益,且无需接收方验证数据即可实现零样本、低成本的极低比特部署。论文还严格证明了量化向量的良定义性及其不受重参数化对称性的影响,并从局部几何角度解释了其作用机制。
来源:arXiv · 机器人与计算机视觉 · arxiv.org