arXiv · 机器人与计算机视觉· Runqing Jiang, Ye Zhang, Pengpeng Yu, Zhuo Song, Changjun Li, Longguang Wang, Yulan Guo·· 9 天前AI 评分72
超越相似性熵:面向视觉 Transformer 的秩引导无数据量化框架
Beyond Similarity Entropy: A Rank-Guided Data-Free Quantization Framework for Vision Transformers
AI 导读
针对视觉 Transformer 在移动端部署的计算与内存挑战,本文提出 RankQ-ViT 框架,实现无需原始训练数据的模型压缩。该方法观察到高斯噪声生成的块相似度矩阵秩较低,引入块感知自对比目标以增强合成样本的特征多样性,并结合秩与语义一致性选择校准样本进行分块重建。实验表明该框架在 ImageNet、COCO 等多任务及低比特量化下有效。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org