arXiv · 机器人与计算机视觉· Zirui Song, Jiadong Zhang, Zheng Lu, Xiaosong Ma, Xiaojun Chang, Xiuying Chen·· 54 分钟前AI 评分58
Phantom Success, Silent Failure:审计模拟操作基准的成功检查器
Phantom Success, Silent Failure: Auditing the Success Checkers of Simulated Manipulation Benchmarks
AI 导读
论文介绍 SimAudit,一种基于大语言模型的流水线,用于审计模拟操作基准中的成功检查器是否遵循任务指令。研究在 RoboTwin 2.0、RoboCasa365 和 RoboDojo 三个平台上对 183 个测试用例进行验证,发现共存在 61 个缺陷(49 项任务),其中 40 个为‘幽灵成功’(接受不完整执行)和 21 个为‘静默失败’(拒绝有效执行)。
来源:arXiv · 机器人与计算机视觉 · arxiv.org