跳到正文

内容形态

评测与基准 最新动态

保留任务、样本量、基线、硬件和仿真或实机条件的评测。

45 条精选近 30 天 33 条共收录 218 条

更新

精选归档 · 第 3 页

10月15日周四第 41–45 条
  1. Hugging Face Daily Papers78

    GlobeBench:评估可扩展环境仿真的文本世界模型能力

    该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。

    推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。

10月13日周二
  1. Hugging Face Daily Papers82

    Game2Real-Bench:玩具游戏能否揭示并迁移至现实世界的视觉推理?

    论文提出了 Game2Real-Bench 基准,旨在研究基于玩具游戏的评估指标是否对应真实世界的视觉推理能力。作者构建了包含 1000 个可执行验证的游戏样本和 400 个按推理要求对齐的真实世界样本,对 25 种代表性 VLM 进行了测试,观察到游戏与真实场景间高达 0.935 的相关性。

    推荐理由:该基准通过对比玩具游戏与真实世界样本,量化了视觉推理能力的迁移效果,为评估 VLM 在复杂场景下的泛化性提供了新工具。

10月12日周一
  1. arXiv · 机器人与计算机视觉78

    MAGMA-Bench:面向动态任务与执行失败的长周期具身智能体评测基准

    论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。

    推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。

  2. arXiv · 机器人与计算机视觉78

    对现有 VLM 基准评估运行的审计:揭示图像依赖度不足与评分偏差

    该研究提出一种审计框架,复用 VLM 评估运行中已生成的预测、正确性及元数据工件,通过 VLMEvalKit 新增的六个检测器及纯文本重跑层进行后处理分析。在 MMStar 基准上发现,20.2%的问题无需图像即可达到零准确率增益,其中数学与科学类别存在显著偏差;另有 134 个问题因所有模型均选择同一非标准答案而引发评分争议。

    推荐理由:作者利用现有评估运行产生的原始工件,为 VLMEvalKit 新增审计层以检测基准缺陷与评分偏差。

10月7日周三
  1. arXiv · 机器人与计算机视觉82

    PlaySuite:面向交互式视觉智能的大规模评测基准

    PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。

    推荐理由:PlaySuite 发布大规模游戏评测基准,揭示当前模型在动态环境中的感知 - 行动差距。