arXiv · 机器人与计算机视觉· Tuna Han Salih Meral, Kaan Oktay, Alec Helbling, Atakan Kara, Duen Horng Chau, Pinar Yanardag·· 4 小时前AI 评分72
扩散 Transformer 的强化学习后训练本质是激活引导
RL Post-Training in Diffusion Transformers Is Activation Steering
AI 导读
论文提出扩散 Transformer 经过强化学习(RL)后训练后的性能提升主要归因于激活空间的恒定偏移(Activation Steering),而非必须学习复杂的输入依赖变换。研究通过在冻结基座模型上添加少量固定参数量的引导向量,成功复现了 RL-tuned 模型在图像和视频生成上的大部分奖励增益,甚至在 OCR 和人类偏好指标上超越了基于权重的 RL 方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org