跳到正文
Hugging Face Daily Papers·· 24 天前AI 评分65

Co-Design Bench:面向智能体的多模态协同编码评测基准

Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models

AI 导读

论文介绍 Co-Design Bench 基准,包含来自 2.6 万真实用户会话的 273 个去重任务,覆盖多模态编辑与仓库编辑两类场景。评测采用 judge-then-refute 协议验证智能体对隐藏专家标准的满足情况,结果显示最强模型平均仅通过 69.9% 的标准且完全满足任务的比例仅为 26.4%,揭示了当前智能体在真实应用修订中的能力局限。

来源:Hugging Face Daily Papers · arxiv.org