跳到正文
Hugging Face Daily Papers·· 28 天前精选AI 评分78

AgentVQA:面向智能体视觉理解的统一离线基准

AgentVQA: A Unified Benchmark for Agentic Visual Understanding

AI 导读

针对现有智能体评估成本高且碎片化的问题,研究团队构建了 AgentVQA 离线基准,涵盖 Web、机器人、第一人称视频、游戏和空间规划五类场景。该基准从 23 个源数据集人工筛选出 1000 个挑战性实例,其模型排名与在线评测结果一致。

推荐理由

该基准通过人工筛选构建跨五类智能体场景的离线评测集,揭示了模型在视觉状态维持与空间推理上的主要瓶颈。

来源:Hugging Face Daily Papers · arxiv.org