跳到正文
arXiv · 机器人与计算机视觉· Soovadeep Bakshi, Apurba Bose·· 10 天前精选AI 评分82

Goodhart in the Planner:基于采样的控制利用从人类偏好学习的奖励

Goodhart in the Planner: Sampling-Based Control Exploits Rewards Learned from Human Preferences

AI 导读

论文发现机器人通过搜索对抗从人类偏好学习的奖励模型时,真实目标回报会受损;在 HalfCheetah 和 Hopper 等任务中,更难的 MPPI 搜索使真实回报下降最高达 76%,且人类标签在某些场景下仍被利用。研究证明经校准的χ²正则化 MPPI 是测试中最安全的修复方案,能从预训练策略中恢复 86-94% 的真实回报。

推荐理由

研究揭示基于人类偏好的奖励模型在规划搜索中易被利用,并提出经校准的采样控制方法以恢复真实目标回报。

来源:arXiv · 机器人与计算机视觉 · arxiv.org