Hugging Face Daily Papers·· 2026-09-22AI 评分38
OSWorld-Pro:基于过程的计算机使用智能体评估基准
OSWorld-Pro: Process-based Evaluation for Computer Use Agents
AI 导读
OSWorld-Pro 引入包含超 300 个任务及 2800 个子目标的基准,依托逾 6.7 万条人工标注实现计算机使用智能体的过程化评估。该基准利用对齐人类的 LLM-Judges 揭示模型在序列子目标中的进展,发现顶尖模型如 Claude Opus 5 在此基准上仅获 75.7% 成功率(OSWorld 为 83.4%)。
来源:Hugging Face Daily Papers · arxiv.org