跳到正文
arXiv · 机器人与计算机视觉· Tuna Han Salih Meral, Kaan Oktay, Alec Helbling, Atakan Kara, Duen Horng Chau, Pinar Yanardag·· 4 小时前AI 评分72

扩散 Transformer 的强化学习后训练本质是激活引导

RL Post-Training in Diffusion Transformers Is Activation Steering

AI 导读

论文提出扩散 Transformer 经过强化学习(RL)后训练后的性能提升主要归因于激活空间的恒定偏移(Activation Steering),而非必须学习复杂的输入依赖变换。研究通过在冻结基座模型上添加少量固定参数量的引导向量,成功复现了 RL-tuned 模型在图像和视频生成上的大部分奖励增益,甚至在 OCR 和人类偏好指标上超越了基于权重的 RL 方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org