跳到正文
arXiv · 机器人与计算机视觉· Xiaofeng Tan, Jun Liu, Bin-Bin Gao, Yuanting Fan, Xi Jiang, Chengjie Wang, Hongsong Wang, Feng Zheng·· 14 天前AI 评分72

当策略熵约束失效时:通过感知熵保留流式 RLHF 中的多样性

When Policy Entropy Constraint Fails: Preserving Diversity in Flow-based RLHF via Perceptual Entropy

AI 导读

论文指出在流匹配文本到图像模型的 RLHF 微调中,传统基于策略熵的多样性假设会失效,因为固定的噪声调度导致策略熵恒定而感知多样性坍塌。作者提出用感知空间熵替代策略熵以捕捉真实多样性,并设计了两种熵正则化策略(Perceptual Entropy Constraint 和 Perceptual Constraints on Generation Space)。

来源:arXiv · 机器人与计算机视觉 · arxiv.org