IndustrialVLA-Bench:开放机器人策略模型的轨迹追踪多轴评估
arXiv 预印本发布 IndustrialVLA-Bench,旨在解决 VLA 与 WAM 模型因评估协议不同导致的能力对比不清问题。该基准对六款已发布的系统进行了统一报告,分别在 LIBERO、LIBERO-Plus 和 LIBERO-Para 上评估了清洁能力、非语言鲁棒性及指令敏感性,并记录了推理延迟、显存峰值及运行模式。
arXiv 预印本发布 IndustrialVLA-Bench,旨在解决 VLA 与 WAM 模型因评估协议不同导致的能力对比不清问题。该基准对六款已发布的系统进行了统一报告,分别在 LIBERO、LIBERO-Plus 和 LIBERO-Para 上评估了清洁能力、非语言鲁棒性及指令敏感性,并记录了推理延迟、显存峰值及运行模式。
作者发布 VideoZeroBench 基准,包含 13 个领域的长视频及人工标注的问答对,问题针对细粒度线索与跨片段分布的证据。该基准通过五级诊断协议对比有无证据提示的回答效果,并联合评估时空定位准确性。结果显示最佳模型在仅回答正确时准确率为 24.8%,但在要求同时实现准确时空定位时准确率未超过 1.8%。代码与数据已公开。
VCR-Bench 填补了图像分类后视频分类鲁棒性基准的空白,提供统一协议以解决现有实现分散难复现的问题。该框架集成 30 个模型、14 种攻击与 10 种防御组件,在 Kinetics-400 子集上报告准确率、成功率及运行时等指标。项目已发布文档化安装脚本与可复运行预设,代码与结果可通过指定 URL 获取。
该研究利用 Michigan Mcity 测试场与仿真环境,验证了针对开源 Level 4 自动驾驶系统的第三方行为安全评估框架。结果显示该系统仅拥有 14 项行为能力中的 6 项,每英里事故率为 3.01x10^-3,约为人类驾驶员的 1,000 倍并暴露未知不安全场景。这些发现强调了在大规模公共部署前进行此类独立安全评估以改进性能的必要性。
PlaySuite 是一个基于超过 5000 款开源视频游戏的交互式视觉智能评测基准,涵盖 Pygame、Unity 等多种引擎。研究构建了统一的闭环交互框架与 Video-LLM-as-a-judge 协议以支持异构游戏评估。对十四种近期开放模型的测试显示,尽管推理能力强,但模型在空间定位、动作执行和自我修正方面存在持续失败,揭示了感知与行动之间的差距。
推荐理由:PlaySuite 发布大规模游戏评测基准,揭示当前模型在动态环境中的感知 - 行动差距。
arXiv 论文介绍 PROWBench 基准,包含 170 个程序化构建的剧集和 600 个代理视频,涵盖多样场景与交互。该基准记录实体状态和时间戳事件(包括视野外),支持回放世界记录和同步多视角渲染(如粗粒度 3D、边界框)。基于这些记录,PROWBench 评估实体控制、长程记忆,并利用两个基于 VLM 的指标(逻辑 - 渲染对齐度与交互成功率)检验对规定时间线和引擎记录事件的视觉实现。
该论文介绍了 Embodied Agent Arena,这是一个包含 1,000 个案例的评估基准,涵盖几何、空间推理、功能理解、任务规划和操作等维度。研究对七个前沿视觉语言模型(VLM)代理进行了测试,发现虽然部分模型在精确估计和接触定位方面表现优异,但在轨迹追踪和家务任务完成上存在不足。
MMBU 基准涵盖 35 个子模态,评估了 16 个开源与 5 个前沿视觉语言模型在生物尺度及临床场景下的表现。结果显示,现有高准确率可能掩盖模型在视觉感知与域泛化上的不足,且该基准包含公开子集与私有保留子集以进行压力测试。
针对现有图像编辑和奖励模型基准难以真实反映人类判断及脱离实际强化学习场景的局限,研究团队推出了包含 2,388 个标注实例的 Edit-Compass 与 2,251 对偏好对的 EditReward-Compass。该统一评测套件涵盖世界知识推理、视觉推理及多图像编辑等六类渐进式任务,采用基于结构化推理的多维细粒度评估框架以支持前沿模型的可靠评估。
该论文提出 OccStress 基准,用于压力测试基于历史占用状态的 4D 场景预测模型的鲁棒性。基准包含 21 类数据腐蚀家族、61 种严重程度配置及 10827 个严格时间锚点,覆盖两个互补轨道以区分传感器应力下的管道误差与模型对污染状态的内禀敏感性。
MMLongCite 是首个通过多模态引用生成来评估长上下文视觉语言模型(LCVLMs)忠实度的基准,涵盖 8 项任务及从 16K 到 128K token 的上下文长度。该基准包含 2,280 个示例并引入 MMLongCite-HR 版本以测试密集像素空间中的细粒度视觉定位能力。实验结果显示模型回答正确性与引用忠实度存在显著差异,揭示了当前多模态引用能力的局限及失败机制。
作者提出 Odyssey 基准,包含由 nuPlan 日志重构的 100 个场景,每个场景持续 100 秒以保留导航与交互上下文。基准用标准地图路线替代模糊的方向指令,并引入 SD Route Compliance、Pre-Lane Change Score 及扩展后的 Driving Score(RouteDS)来评估规划器对路线的遵循度与车道变换准备情况。
本文介绍了作者在 PalmCity 挑战赛 leaderboard 快照(2026-10-05)中提交的一等奖系统,用于全景街道语义分割。
RMMBench 提出了一套包含 70 个典型场景的“导航 - 操作”统一任务框架,旨在解决现有基准在评估视觉语言模型(VLM)具身能力时指标受限的问题。实验结果显示,领先的 VLM 在执行移动操作任务时仍面临空间定位的重大挑战,凸显了提升机器人长周期交互中空间感知能力的必要性。该基准已接受 CoRL 2026 会议录用,代码与数据可通过官方链接获取。
针对多模态大语言模型(MLLMs)中视觉编码器评估指标难以可靠预测下游性能的问题,研究提出了一种基于跨模态最近邻检索的训练免费方法 RAVEL。该方法在大规模实验中解决了既有实验设计与方法论的局限,以显著优势超越先前方法,确立了简单跨模态指标在严谨设置下的强基线地位。代码已公开于 arXiv 链接处供获取。
作者发布了 VAND 4.0 Challenge 基准,涵盖工业制造(MVTec AD 2)和零售物流(Kaputt 2)两个赛道。结果显示,工业领域无监督分割最佳像素级 F1 仅约 57%,零样本方法落后约 15 个点;零售领域通用 VLM 比专用模型落后约 28 AP,且罕见缺陷检测性能严重受限。
新发布的 RoboHarm 基准测试了 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2 在控制机械臂时的安全性。
Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。