arXiv · 机器人与计算机视觉· Luka Ribar, Jeevan Bhoot, Douglas Orr·· 2026-10-05AI 评分58
Llama-Mobile:一种支持 Arm CPU 的高效 2.7-bit 视觉语言模型量化方法
Llama-Mobile: Efficient 2.7-Bit Quantization of VLMs
AI 导读
针对在移动设备上部署视觉语言模型(VLM)面临的显存与算力挑战,作者提出了一种无需访问原始训练设置的量化框架。该方法利用模型自身生成训练数据,并采用新型 2.7-bit 每参数格式以支持 Arm CPU 上的高效执行。实验验证显示,将 Llama 3.2 11B Vision Instruct 模型压缩至 3.7 GB(配合 8-bit 激活)后,在标准视觉问答任务上仍保持强劲性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org