跳到正文
arXiv · 机器人与计算机视觉· Siting Wang, Xiaofeng Wang, Zheng Zhu, Minnan Pei, Xinyu Cui, Cheng Deng, Jian Zhao, Guan Huang, Haifeng Zhang, Jun Wang·· 17 天前AI 评分75

π-StepNFT:基于流的视觉语言动作模型在线强化学习中更宽空间需要更细粒度步骤

$\pi$-StepNFT: Wider Space Needs Finer Steps in Online RL for Flow-based VLAs

AI 导读

针对流式视觉语言动作(VLA)模型在多步去噪中政策梯度在线强化学习难以处理的难题,本文提出 π-StepNFT 框架。该方法将观测到的随机微分方程(SDE)过渡视为监督单元,利用方差归一化的转换误差对镜像正负速度分支进行排序,并将回滚反馈映射到局部速度更新,从而在不计算最终动作似然的情况下耦合更宽的随机探索与更细的步骤级监督。

来源:arXiv · 机器人与计算机视觉 · arxiv.org