LEASH:一种用于保障智能体机器人安全的决策门控框架
针对基础模型控制机器人存在的安全风险,作者提出了 RoboRisk 综合安全评估基准和 LEASH(Lease-Enforced Agentic Safety Harness)框架。
针对基础模型控制机器人存在的安全风险,作者提出了 RoboRisk 综合安全评估基准和 LEASH(Lease-Enforced Agentic Safety Harness)框架。
伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。
论文介绍 MESA 评估框架,旨在解决现有基准狭窄或过于宽泛的问题,实现对语言条件策略泛化能力的精确测量。该框架包含五个评测套件,隔离分布内性能并针对空间配置、物体实例、物体类别和子任务组合四个泛化轴进行诊断。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
该报告提出统一闭环操作框架,评估 GPT-6 Astra、Gemini-4 Argon 等六款前沿大模型在 LIBERO-10 基准上的机器人操作能力。实验涵盖三种推理努力水平共 18 种配置和 1800 个评测集次,结果显示 GPT-6 Astra 成功率最高为 44%,Gemini-4 Argon 为 43%。
CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。
该论文在 RoboColiseum 基准上对 GPT-6 Astra、GPT-6.1 Sol、Claude Opus 5.5 和 Gemini 4 Argon 四款模型进行了多维度的比较评估。
该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。
该研究评估了 Gemini Robotics-ER 在 SHREC 基准(真实人机社交互动)上的社会推理能力,并与通用 VLM 基线进行对比。结果显示,具身化模型在错误与能力检测上优于 GPT-4o-mini,但在详细社会属性判断上表现较差;增加视觉帧对一项任务有益却损害另一项。
针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。
推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。
研究团队推出 Embodied Playground,这是一个评估基础模型代理在长周期任务中协调物理、战略及空间推理能力的基准。该基准包含涵盖基础操作、顺序谜题和多阶段家务活动的 410 个环境,并精选出 EP-100 代表集(含 EP-Easy/EP-Hard 难度划分)及 EP-20 紧凑子集。
优必选自研的统一多模态世界模型Thinker-WM在WorldOlympiad、EWMBench及WorldArena1.0 Track-1三大具身世界模型基准评测中均取得第一名。
现有机器人价值模型评估仅覆盖部分执行理解方面,反馈可靠性不足。本文提出 RoboValue 基准,通过共享接口从任务状态理解、时间进度监控、故障恢复推理及价值一致性四个维度进行统一评估。
作者推出了 LIBERO-Pro2.0 基准,旨在系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含 1,648 个经过人工校验的偏移任务实例,涵盖条件、环境、观测等六个维度的 22 种静态扰动和 20 种运行时干预,并提供了 39,390 条训练轨迹。
大晓机器人发布全新视觉空间锚定增强型具身模型ACE-Brain-0.6,该模型基于Qwen3.5-9B架构构建,重点通过规模化、多样化及可验证的空间监督数据提升目标识别与交互锚定能力。
该研究提出跨学科流程,在 2023-2025 年间通过七次活动评估三款机器人在公园清扫、人行通道清洁及图书馆互动协助任务的表现。评测聚焦任务完成度、交互质量、安全性与经济可行性,证实通用指标难以完全捕捉环境真实性带来的挑战。结论建议采用包含安全强制项的共享度量选择与文档化程序,而非固定指标集,以支持技术就绪等级 6-7 的系统过渡。
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
美国 AI 基准测试公司 Artificial Analysis 发布研究预览版基准 AA-Robotics v0.1,评估前沿大语言模型通过代码直接控制机械臂完成桌面操作的能力。
论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。
推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。
arXiv 预印本发布 IndustrialVLA-Bench,旨在解决 VLA 与 WAM 模型因评估协议不同导致的能力对比不清问题。该基准对六款已发布的系统进行了统一报告,分别在 LIBERO、LIBERO-Plus 和 LIBERO-Para 上评估了清洁能力、非语言鲁棒性及指令敏感性,并记录了推理延迟、显存峰值及运行模式。
该论文介绍了 Embodied Agent Arena,这是一个包含 1,000 个案例的评估基准,涵盖几何、空间推理、功能理解、任务规划和操作等维度。研究对七个前沿视觉语言模型(VLM)代理进行了测试,发现虽然部分模型在精确估计和接触定位方面表现优异,但在轨迹追踪和家务任务完成上存在不足。
新发布的 RoboHarm 基准测试了 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2 在控制机械臂时的安全性。