跳到正文
arXiv · 机器人与计算机视觉· Austin Wang, Lexing Ying·· 16 天前AI 评分65

视觉强化学习增益能否在测试时扩展?基于分位数的后训练量化分析

Do Visual RL Gains Scale at Test Time? A Quantile View of Post-Training

AI 导读

论文系统发现视觉生成模型中,强化学习(RL)后训练带来的单样本质量提升并不总能随测试时采样预算增加而转移;在高采样预算下,RL 增益可能衰减甚至反转。作者提出 Quantile Utility Policy Optimization (QUPO) 方法,通过优化不同推理预算对应的分位数效用混合,在保持高质量尾部输出的同时显著提升对困难提示的扩展能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org