arXiv · 机器人与计算机视觉· Jiaxuan Luo, Xingguo Xu, Shanshan Wang, Yuhan Zhou, Zhen Zhang·· 2026-10-05精选AI 评分82
CriticHack:评估机器人策略优化下的视觉奖励风险
CriticHack: Evaluating Visual Rewards Under Robot Policy Optimization
AI 导读
该研究指出,学习到的视觉奖励模型在优化机器人策略时,可能同时提升任务成功率与错误对象失败率,导致监控信号失真。通过在抽屉操作任务上微调扩散策略并对比不同训练信号,实验证实了这种放大效应源于特定分布偏移,且现有成功终止配方存在继承性误差。作者提出冻结结果验证器可将优化导向正确目标。
推荐理由
揭示视觉奖励模型在机器人策略优化中可能放大错误对象失败的风险,并提出冻结结果验证器作为修正方案。
来源:arXiv · 机器人与计算机视觉 · arxiv.org