无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。