Hugging Face Daily Papers·· 28 天前精选AI 评分78
AgentVQA:面向智能体视觉理解的统一离线基准
AgentVQA: A Unified Benchmark for Agentic Visual Understanding
AI 导读
针对现有智能体评估成本高且碎片化的问题,研究团队构建了 AgentVQA 离线基准,涵盖 Web、机器人、第一人称视频、游戏和空间规划五类场景。该基准从 23 个源数据集人工筛选出 1000 个挑战性实例,其模型排名与在线评测结果一致。
推荐理由
该基准通过人工筛选构建跨五类智能体场景的离线评测集,揭示了模型在视觉状态维持与空间推理上的主要瓶颈。
来源:Hugging Face Daily Papers · arxiv.org