arXiv · 机器人与计算机视觉· Shubham Singh·· 24 天前精选AI 评分82
无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新
Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates
AI 导读
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由
作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。
来源:arXiv · 机器人与计算机视觉 · arxiv.org