跳到正文
arXiv · 机器人与计算机视觉· Juntao Xu, Shihong Li, Hoi Fan Au, Ning Zhu·· 22 天前AI 评分65

ToPO:面向文本生成图像扩散模型的 Token 导向偏好优化方法

ToPO: Token-Oriented Preference Optimization for Text-to-Image Diffusion Models

AI 导读

针对文本到图像扩散模型难以与人类偏好对齐的问题,该方法提出 ToPO 框架,利用冻结参考去噪器构建空间 - 时间权重图,结合交叉注意力机制将局部噪声预测误差差异映射至内容 token。实验表明,仅需 500 次训练更新即可在多项评估中达到最先进性能,且无需本地偏好标注或独立奖励模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org