跳到正文
10月9日周五
  1. arXiv · 机器人与计算机视觉72

    IndustrialVLA-Bench:开放机器人策略模型的轨迹追踪多轴评估

    arXiv 预印本发布 IndustrialVLA-Bench,旨在解决 VLA 与 WAM 模型因评估协议不同导致的能力对比不清问题。该基准对六款已发布的系统进行了统一报告,分别在 LIBERO、LIBERO-Plus 和 LIBERO-Para 上评估了清洁能力、非语言鲁棒性及指令敏感性,并记录了推理延迟、显存峰值及运行模式。

10月8日周四
  1. arXiv · 机器人与计算机视觉58

    VideoZeroBench:基于时空证据验证的视频多模态大模型极限探测

    作者发布 VideoZeroBench 基准,包含 13 个领域的长视频及人工标注的问答对,问题针对细粒度线索与跨片段分布的证据。该基准通过五级诊断协议对比有无证据提示的回答效果,并联合评估时空定位准确性。结果显示最佳模型在仅回答正确时准确率为 24.8%,但在要求同时实现准确时空定位时准确率未超过 1.8%。代码与数据已公开。

  2. arXiv · 机器人与计算机视觉42

    VCR-Bench:首个视频分类鲁棒性模块化开源基准框架

    VCR-Bench 填补了图像分类后视频分类鲁棒性基准的空白,提供统一协议以解决现有实现分散难复现的问题。该框架集成 30 个模型、14 种攻击与 10 种防御组件,在 Kinetics-400 子集上报告准确率、成功率及运行时等指标。项目已发布文档化安装脚本与可复运行预设,代码与结果可通过指定 URL 获取。

10月7日周三
  1. arXiv · 机器人与计算机视觉42

    自动驾驶安全评估框架验证结果:开源 L4 ADS 仅具备 6/14 行为能力且事故率为人均千倍

    该研究利用 Michigan Mcity 测试场与仿真环境,验证了针对开源 Level 4 自动驾驶系统的第三方行为安全评估框架。结果显示该系统仅拥有 14 项行为能力中的 6 项,每英里事故率为 3.01x10^-3,约为人类驾驶员的 1,000 倍并暴露未知不安全场景。这些发现强调了在大规模公共部署前进行此类独立安全评估以改进性能的必要性。

  2. arXiv · 机器人与计算机视觉82

    PlaySuite:面向交互式视觉智能的大规模评测基准

    PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。

    推荐理由:PlaySuite 发布大规模游戏评测基准,揭示当前模型在动态环境中的感知 - 行动差距。

10月6日周二
  1. arXiv · 机器人与计算机视觉67

    PROWBench:视频模型是否渲染了程序指定的内容?

    arXiv 论文介绍 PROWBench 基准,包含 170 个程序化构建的剧集和 600 个代理视频,涵盖多样场景与交互。该基准记录实体状态和时间戳事件(包括视野外),支持回放世界记录和同步多视角渲染(如粗粒度 3D、边界框)。基于这些记录,PROWBench 评估实体控制、长程记忆,并利用两个基于 VLM 的指标(逻辑 - 渲染对齐度与交互成功率)检验对规定时间线和引擎记录事件的视觉实现。

  2. arXiv · 机器人与计算机视觉75

    前沿 VLM 智能体是否已具备机器人通用能力?基于具身智能竞技场的一项实证研究

    该论文介绍了 Embodied Agent Arena,这是一个包含 1,000 个案例的评估基准,涵盖几何、空间推理、功能理解、任务规划和操作等维度。研究对七个前沿视觉语言模型(VLM)代理进行了测试,发现虽然部分模型在精确估计和接触定位方面表现优异,但在轨迹追踪和家务任务完成上存在不足。

  3. arXiv · 机器人与计算机视觉28

    Edit-Compass & EditReward-Compass:图像编辑与奖励建模统一评测基准发布

    针对现有图像编辑和奖励模型基准难以真实反映人类判断及脱离实际强化学习场景的局限,研究团队推出了包含 2,388 个标注实例的 Edit-Compass 与 2,251 对偏好对的 EditReward-Compass。该统一评测套件涵盖世界知识推理、视觉推理及多图像编辑等六类渐进式任务,采用基于结构化推理的多维细粒度评估框架以支持前沿模型的可靠评估。

  4. arXiv · 机器人与计算机视觉42

    MMLongCite:首个评估长上下文视觉语言模型忠实度的基准测试

    MMLongCite 是首个通过多模态引用生成来评估长上下文视觉语言模型(LCVLMs)忠实度的基准,涵盖 8 项任务及从 16K 到 128K token 的上下文长度。该基准包含 2,280 个示例并引入 MMLongCite-HR 版本以测试密集像素空间中的细粒度视觉定位能力。实验结果显示模型回答正确性与引用忠实度存在显著差异,揭示了当前多模态引用能力的局限及失败机制。

  5. arXiv · 机器人与计算机视觉73

    Odyssey:一种具有显式导航路线的长时程真实世界驾驶闭环基准

    作者提出 Odyssey 基准,包含由 nuPlan 日志重构的 100 个场景,每个场景持续 100 秒以保留导航与交互上下文。基准用标准地图路线替代模糊的方向指令,并引入 SD Route Compliance、Pre-Lane Change Score 及扩展后的 Driving Score(RouteDS)来评估规划器对路线的遵循度与车道变换准备情况。

  6. arXiv · 机器人与计算机视觉35

    RMMBench:首个面向机器人移动操作的综合评测基准

    RMMBench 提出了一套包含 70 个典型场景的“导航 - 操作”统一任务框架,旨在解决现有基准在评估视觉语言模型(VLM)具身能力时指标受限的问题。实验结果显示,领先的 VLM 在执行移动操作任务时仍面临空间定位的重大挑战,凸显了提升机器人长周期交互中空间感知能力的必要性。该基准已接受 CoRL 2026 会议录用,代码与数据可通过官方链接获取。

  7. arXiv · 机器人与计算机视觉38

    RAVEL:一种用于评估多模态大语言模型视觉编码器的强基线方法

    针对多模态大语言模型(MLLMs)中视觉编码器评估指标难以可靠预测下游性能的问题,研究提出了一种基于跨模态最近邻检索的训练免费方法 RAVEL。该方法在大规模实验中解决了既有实验设计与方法论的局限,以显著优势超越先前方法,确立了简单跨模态指标在严谨设置下的强基线地位。代码已公开于 arXiv 链接处供获取。

  8. arXiv · 机器人与计算机视觉51

    面向制造与零售物流的异常检测应用驱动基准(VAND 4.0 Challenge)

    作者发布了 VAND 4.0 Challenge 基准,涵盖工业制造(MVTec AD 2)和零售物流(Kaputt 2)两个赛道。结果显示,工业领域无监督分割最佳像素级 F1 仅约 57%,零样本方法落后约 15 个点;零售领域通用 VLM 比专用模型落后约 28 AP,且罕见缺陷检测性能严重受限。

9月19日周六
8月27日周四
  1. Google DeepMind42

    Google DeepMind 推出全球首个双盲 AI 评估,在加密环境中测试 Gemini Flash Lite 模型以消除基准污染

    Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。