arXiv · 机器人与计算机视觉· Yufei Xue, Yushi Huang, Jiawei Shao, Pingcheng Dong, Yonghao Tan, Shiyao Li, Kwang-Ting Cheng, Jun Zhang·· 13 天前精选AI 评分78
ProQuant:面向边缘多模态大模型的渐进式量化感知训练
ProQuant: Progressive Quantization-aware Training for Edge MLLMs
AI 导读
arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。
推荐理由
提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org