arXiv · 机器人与计算机视觉· Zhanyi Sun, Max Simchowitz, Shuran Song·· 16 天前精选AI 评分78
超越验证损失:机器人策略预训练中的覆盖度与可靠性动态
Beyond Validation Loss: Coverage and Reliability Dynamics in Robot Policy Pretraining
AI 导读
该论文针对现代机器人学习中仅依赖验证损失和平均任务成功率指标不足的问题,研究了闭环 pass@k 指标以评估策略在多次采样下的成功可达性。研究发现大 k 的 pass@k 能揭示传统指标无法捕捉的后训练差异,并揭示了预训练过程中覆盖率与可靠性的权衡关系。作者据此提出了无需闭环评估的离线检查点选择准则以及生成式数据增强程序,旨在扩展监督范围并保持高可靠性。
推荐理由
提出基于 pass@k 的评估指标与离线选择准则,揭示预训练中覆盖率与可靠性的权衡关系。
来源:arXiv · 机器人与计算机视觉 · arxiv.org