Hugging Face Daily Papers·· 24 天前AI 评分65
Co-Design Bench:面向智能体的多模态协同编码评测基准
Co-Design Bench: Multimodal Collaborative Coding Evaluation for Agentic Models
AI 导读
论文介绍 Co-Design Bench 基准,包含来自 2.6 万真实用户会话的 273 个去重任务,覆盖多模态编辑与仓库编辑两类场景。评测采用 judge-then-refute 协议验证智能体对隐藏专家标准的满足情况,结果显示最强模型平均仅通过 69.9% 的标准且完全满足任务的比例仅为 26.4%,揭示了当前智能体在真实应用修订中的能力局限。
来源:Hugging Face Daily Papers · arxiv.org