跳到正文
arXiv · 机器人与计算机视觉· Shubham Singh·· 24 天前精选AI 评分82

无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新

Full-Weight VLA Fine-Tuning Without an fp32 Master Copy Silently Erases Most Updates

AI 导读

研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。

推荐理由

作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org