跳到正文
arXiv · 机器人与计算机视觉· Arunabh Bora·· 2026-10-05AI 评分68

超越奖励黑客:分阶段人形机器人学习管道中四层的代理发散分析

Beyond Reward Hacking: Proxy Divergence Across Four Layers of a Staged Humanoid Learning Pipeline

AI 导读

该文论证了强化学习管道中的奖励、课程门控、评估统计和参考动作均为代理变量,各自具有特征的发散机制。作者针对每一层提出了传统形式与替代方案,包括一阶成本、峰值统计、可达性检查及相位解耦评估等。研究通过一个在单台笔记本电脑 GPU 上运行 13,500 次迭代的模拟人形机器人策略实验进行了验证,展示了课程门控失效和批量推测试验中的相位混叠问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org