arXiv · 机器人与计算机视觉· Anshul Nayak, Shahil Shaik, Jonathan Smereka, Yue Wang·· 2026-10-19AI 评分58
基于理由引导的人类奖励建模用于偏好强化学习
Reason-guided Human Reward Modeling for Preference-based Reinforcement Learning
AI 导读
该文提出一种基于轨迹反馈的偏好强化学习(PbRL)框架,通过学习人类奖励模型来优化任务奖励可能产生的行为偏差。该框架不仅利用偏好标签,还引入解释行为偏好的“理由”标签,使学到的奖励能同时捕捉人类选择及其底层逻辑。相比仅依赖偏好的方法,这种设计提供了额外的监督信号,提升了策略的可解释性、对人类意图的对齐度以及对偏好的敏感性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org