跳到正文
11月11日周三
11月9日周一
  1. 智东西 · 机器人68

    伽马智能联合宇树推出人形机器人移动操作统一测评平台 LocoManiLab

    伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。

11月5日周四
11月4日周三
  1. arXiv · 机器人与计算机视觉78

    VagueBench:评估具身智能体在环境语境幻觉下的鲁棒性基准

    针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。

    推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。

10月30日周五
  1. arXiv · 机器人与计算机视觉82

    RoboSeed:VLA 与世界动作模型的多维评估框架

    论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。

    推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。

10月22日周四
10月21日周三
  1. arXiv · 机器人与计算机视觉48

    CAPSafe:具身智能体情境动作与计划安全推理基准评测

    CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。

  2. arXiv · 机器人与计算机视觉65

    RoboJudge:作为具身视频生成裁判的多模态大语言模型

    该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。

  3. arXiv · 机器人与计算机视觉78

    HATCH:用于可验证操作的硬件认证任务链

    针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。

    推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。

  4. arXiv · 机器人与计算机视觉48

    Embodied Playground:面向物理、战略与空间推理的长周期具身智能基准

    研究团队推出 Embodied Playground,这是一个评估基础模型代理在长周期任务中协调物理、战略及空间推理能力的基准。该基准包含涵盖基础操作、顺序谜题和多阶段家务活动的 410 个环境,并精选出 EP-100 代表集(含 EP-Easy/EP-Hard 难度划分)及 EP-20 紧凑子集。

10月20日周二
10月19日周一
  1. arXiv · 机器人与计算机视觉36

    Benchmarking Robots for Everyday Environments:从实验室到真实运营的机器人评测流程

    该研究提出跨学科流程,在 2023-2025 年间通过七次活动评估三款机器人在公园清扫、人行通道清洁及图书馆互动协助任务的表现。评测聚焦任务完成度、交互质量、安全性与经济可行性,证实通用指标难以完全捕捉环境真实性带来的挑战。结论建议采用包含安全强制项的共享度量选择与文档化程序,而非固定指标集,以支持技术就绪等级 6-7 的系统过渡。

10月17日周六
10月16日周五
  1. arXiv · 机器人与计算机视觉80

    超越单轴测试:视觉语言动作策略的复合鲁棒性配对评估

    论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。

    推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。

10月12日周一
  1. arXiv · 机器人与计算机视觉78

    MAGMA-Bench:面向动态任务与执行失败的长周期具身智能体评测基准

    论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。

    推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。

10月9日周五
  1. arXiv · 机器人与计算机视觉72

    IndustrialVLA-Bench:开放机器人策略模型的轨迹追踪多轴评估

    arXiv 预印本发布 IndustrialVLA-Bench,旨在解决 VLA 与 WAM 模型因评估协议不同导致的能力对比不清问题。该基准对六款已发布的系统进行了统一报告,分别在 LIBERO、LIBERO-Plus 和 LIBERO-Para 上评估了清洁能力、非语言鲁棒性及指令敏感性,并记录了推理延迟、显存峰值及运行模式。

10月6日周二
  1. arXiv · 机器人与计算机视觉75

    前沿 VLM 智能体是否已具备机器人通用能力?基于具身智能竞技场的一项实证研究

    该论文介绍了 Embodied Agent Arena,这是一个包含 1,000 个案例的评估基准,涵盖几何、空间推理、功能理解、任务规划和操作等维度。研究对七个前沿视觉语言模型(VLM)代理进行了测试,发现虽然部分模型在精确估计和接触定位方面表现优异,但在轨迹追踪和家务任务完成上存在不足。

9月19日周六