跳到正文
arXiv · 机器人与计算机视觉· Huanfei He, Bohao Zhang, Jiaxin Zhang, Wei Sui, John See, Zeyd Boukhers, Cong Yang·· 13 天前精选AI 评分78

旋转对 Token 不敏感:前馈几何 Transformer 后训练量化的一种结构准则

Rotation Is Token-Blind: A Structural Criterion for Post-Training Quantization of Feed-Forward Geometry Transformers

AI 导读

论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。

推荐理由

提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。

来源:arXiv · 机器人与计算机视觉 · arxiv.org