arXiv · 机器人与计算机视觉· Xiaofeng Tan, Jun Liu, Yuanting Fan, Bin-Bin Gao, Xi Jiang, Xiaochen Chen, Jinlong Peng, Chengjie Wang, Hongsong Wang, Feng Zheng·· 16 天前AI 评分72
基于双粒度策略优化的流式强化学习中幻觉抑制方法
Dual-Grained Policy Optimization for Hallucination Reduction in Flow-Based RL
AI 导读
针对流式模型在强化学习微调中易产生视觉幻觉的问题,本文分析了由随机微分方程采样导致的细粒度过度优化及轨迹模仿引发的跨步不一致性两大成因。作者提出 DGPO 框架,通过动态粒度采样平衡全局与局部细节,并利用一致策略梯度优化保持稳定性。实验显示该方法将低/高层幻觉分别降低 49% 和 38%,域外指标平均提升 4.9%。
来源:arXiv · 机器人与计算机视觉 · arxiv.org