跳到正文
arXiv · 机器人与计算机视觉· Anima Singh, Suhas Yogin, Weicheng Kuo, Ivor Rendulic, Ivan Jurin, Antoine Yang, Oran Kelly, Rohan Doshi, Hammad Ayyubi, Ioana Bica, Sergi Caelles, Matthew Conniff, Dan Graur, Anastasija Ili\'c, Ahmet Iscen, Chao Jia, Tomasz K\k{e}pa, Chunyuan Li, Noah \'O Donnaile, Filip Pavetic, Goran Petrovic, Khalid Salama, Zhicheng Wang, Polina Zablotskaia, Yiqian Zhang, Ming Zhao, Benjamin Caine, Mario Lu\v{c}i\'c, Melvin Johnson, Radu Soricut, Jean-Baptiste Alayrac·· 4 小时前AI 评分72

MKA:端到端专业任务的 multimodal 知识智能体评估基准

MKA: Evaluating Multimodal Knowledge Agents on end-to-end professional tasks

AI 导读

论文介绍了 MKA 基准,用于衡量自主智能体在处理依赖视觉理解的专业知识工作时表现如何。该基准包含 200 个任务,覆盖 10 个经济领域,要求智能体从 CAD 图纸、电子原理图、X 光片等密集视觉文件中提取并组合信息,生成独立交付物。评估结果显示,Claude Fable 5.2 和 Gemini 4 Carbon 在前沿模型中得分最高,但跨模态推理能力仍有提升空间。

来源:arXiv · 机器人与计算机视觉 · arxiv.org