Hugging Face Daily Papers·· 2026-10-05精选AI 评分78
Rationale-Guided Policy Optimization:基于自适应推理脚手架的策略优化方法
Rationale-Guided Policy Optimization: Learning to Reason with Adaptive Rationale Scaffolding
AI 导读
针对大语言模型强化学习中奖励稀疏导致优化停滞的问题,本文提出 Rationale-Guided Policy Optimization (RGPO) 框架。该方法将真实推理过程作为临时脚手架辅助模型生成改进响应,随后仅将高奖励的自生解法转移回无引导设置,无需依赖同格式的非策略数据。实验表明,该框架在文本及视觉语言推理任务中均能提升性能并稳定强化学习训练。
推荐理由
提出利用自适应推理脚手架缓解强化学习奖励稀疏问题,在文本与多模态任务中均优于基线。
来源:Hugging Face Daily Papers · arxiv.org