arXiv · 机器人与计算机视觉· Yingqing Guo, Hui Yuan, Zijian He, Mengdi Wang, Zheng Ding·· 23 天前AI 评分75
LC-GRPO:通过朗之万修正弥合基于流的 GRPO 训练与推理差距
LC-GRPO: Bridging Train-Inference Gap for Flow-Based GRPO with Langevin Correction
AI 导读
论文提出 LC-GRPO 框架,旨在解决基于流的生成模型在强化学习中因离散化导致的训练(随机 SDE)与推理(确定性 ODE)分布不匹配问题。该方法在每个 rollout 过渡中先执行对齐推理的欧拉步,再施加朗之万修正以恢复边际分布,无需额外分数模型且保持可处理的似然性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org