arXiv · 机器人与计算机视觉· Michael Schroeder·· 14 小时前AI 评分58
为何亚4位视觉CNN会崩溃以及混合精度恢复的极限
Why Sub-4-Bit Vision CNNs Collapse and Where Mixed-Precision Recovery Stops
AI 导读
该研究系统分析了标准Vision CNN在低于4位量化时的精度崩溃现象,发现崩溃主要发生在深度卷积层和逐点投影中。作者提出通过保留不足5%的关键层激活值进行8-bit混合精度恢复,可挽回高达92%的损失精度。此外,研究还评估了在ARM和x86 CPU上的部署性能,指出低比特量化虽降低存储但会引入1.48至21.5倍的执行延迟,为边缘设备部署提供了实践蓝图。
来源:arXiv · 机器人与计算机视觉 · arxiv.org