VagueBench:评估具身智能体在环境语境幻觉下的鲁棒性基准
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
WayTrace 是一种连接网络地图指令与机器人运动的层级化系统。该系统利用现成的视觉语言模型读取分步导航指令、卫星地图和实时相机图像,并发出原子级语言命令(如“向左过马路”)。
论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
作者提出 LoopQ 基准,在相同检查点、层和引擎下对比 RTN、AWQ、GPTQ 等四种量化策略。基于 LIBERO 数据集超过 180,000 个回合的测试显示,通用 PTQ 方法在低比特(4 bit)下表现优于或持平于专用方法;标准 LIBERO 掩盖了损失,配对扰动下无显著损失的配置仍会丢失 1.5-4.3 分。
针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
论文提出 Cycle WAM 模型,旨在解决现有世界动作模型(WAM)中动作与其视觉后果缺乏一致性训练的问题。该方法将视频与动作视为由因果关系链接的成对模态,通过双向转换增强跨模态对应关系并恢复前向与逆向动力学。
针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。
论文提出 DreamFree,一种利用预训练视频扩散模型进行机器人控制的 World Action Model(WAM)。该方法通过表征蒸馏技术,使视觉编码器仅基于当前观测即可预测冻结的扩散模型内部表示,从而无需生成未来视频即可提取动作相关信息。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
该论文提出 SR-DP(Spectrally Routed Diffusion Policy)以解决多任务机器人操作中的性能瓶颈。针对卷积编码器视觉条件判别力不足及不兼容动作模式导致的梯度干扰问题,作者设计了冻结 VGGT 编码器与空间压缩适配器生成紧凑语义几何令牌,并通过谱路由和 Householder 输入旋转分解线性层为正交秩一专家基。
该论文提出 GVT3D 模型以解决 3D 具身参考理解中跨模态对齐难与计算成本高问题。方法包括在共享嵌入空间联合建模语言、手势和视觉输入的 Embodied Fusion 模块,以及针对点云粗粒度区域的注视(foveation)处理策略。
RAFT 是一种针对视觉语言动作(VLA)策略的两阶段后训练方法,先在任务相关推理标注上训练低秩适配器并冻结,再在动作演示上微调策略。该方法在物理 DROID 机器人上实现了 75.0% 的分布外成功率,显著优于普通微调的 27.9%;在多阶段双手 YAM 任务中平均成功率为 70.0%,强基线为 36.0%。
该论文介绍了一种专为人类级任务设计的人形机械臂硬件平台 RAIPAL。不同于追求均匀工作空间的常规设计,该平台依据已发表的人类上肢性能测量数据推导力、速度和耐力目标,指导执行器与热设计以实现扭矩透明度和持续运行能力。
该研究提出 ActOR 框架,将墙挂式环境相机与机器人头显数据融合为共享对象级数字孪生(DT),利用大语言模型代理在 DT 上进行规划并调用预编程的移动与操作技能。
该论文提出一种结合单刚体模型、姿态动力学及完整接触 wrench 的在线优化框架,通过增广拉格朗日与松弛障碍惩罚将接触力与步点位置联合优化。该方法在 MuJoCo 仿真中以 100 Hz 重规划(平均求解时间 8.9 ms),并在宇树 G1 机器人上验证了稳态行走及恢复 245 N 前向和 175 N 侧向冲击的能力。材料为预印本,未提及同行评审状态或具体部署许可。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
针对杂乱环境中需临时移动物体的非单调重排难题,VARP 模型直接从专家演示的视觉状态中学习,无需重新规划或在线组合搜索。该模型在挑战基准测试中达到 98.3% 成功率,单次任务仅耗时 0.4 秒,且在执行干扰下保持 97.5% 成功率、严重连续干扰下为 94.5%,并有效泛化至未见物体数量。
MABEL 是一个开源的类人移动双臂机器人平台,拥有 56 个自由度且部件成本约为 8100 美元。该平台集成了两个 7 自由度手臂、17 自由度手爪、可俯仰躯干、升降机构、3 自由度颈部和全向底盘,支持背驱式交互与从地面到 2.23 米的指尖抓取范围。
论文提出了 FEIJOA 语言模型智能体,用于解决移动机械臂在执行‘把玩具收进箱子’等开放指令时的场景理解难题。该方法在测试时查询 grounding 工具以解析指令,并通过具身感知 harness 检查技能先决条件、采样可达基座位姿并验证执行效果。
推荐理由:该工作提出在测试时进行指令 grounding 的架构,显著提升了移动操作任务的成功率。
该论文提出一种实用因果推理框架,旨在解决在人类密集环境中收集因果数据困难的问题。研究通过保留高层不变因果结构,仅利用少量新观测更新参数,实现了高效的仿真到现实(sim-to-real)迁移。实验表明,该系统能高效运行于移动机器人端侧,并在复杂的人类共享场景中显著优于非因果基线,成功实现安全导航。
论文提出一种基于区块链去中心化自治组织(DAO)的治理框架,用于管理动态加入或离开的开放型机器人集群。研究通过智能合约编码自主规则,实现了对集群成员资格的自动调节及拜占庭行为(故障或恶意机器人)的防御与移除。仿真结果和实物验证显示,该机制能在保持集群正常运行的同时,将拜占庭机器人的数量控制在可接受范围内。材料为预印本,未提及同行评审状态。
Self-Consistent Neural Control(SCNC)通过显式控制敏感性变化优化轨迹,解决了物理 AI 中隐式平衡系统学习难的问题。相比副梯度学习和无梯度 iCEM 基线,该方法将薄壁管等复杂结构的稳定优化率从 41.7% 提升至 83.3%,平均损失降低超过 1.5 个数量级。该框架已在弹性杆、测量带及弹簧状结构等可变形物体上验证有效性。
作者发布 RoboScope Kit 以解决仿真基准评估慢、接口不统一的问题。该工具通过 Python 类封装模型与基准适配器,实现并行调度与渲染优化;在 LIBERO-Long 和 RoboTwin Easy 等任务上,相比官方 StarVLA 评估器速度提升 4.45 至 6.16 倍,四 GPU 配置下比单卡基线快 25 倍以上。代码与项目页面已开源。
推荐理由:该工具通过统一接口与调度优化,将机器人策略评估速度提升数十倍,相关团队可据此加速现有训练流程。
上海润科具能、北京辉羲智能与榆林赛易智能于10月28日签署战略合作备忘录,联合研发具身智能特种控制器。三方构建“本体平台+国产算力+场景验证”模式:辉羲提供光至R1芯片作为算力底座;榆林赛易输出矿山工况需求与算法;润科具能开放机器人整机框架并负责三防特性开发及防爆资质获取。落地产品为润科具能的半人马机器人,将应用于矿山巷道巡检与危险处置等场景。
Manifold AI 流形空间与京东科技正式签署战略合作框架协议,双方将围绕世界模型在京东场景落地、算力基础设施建设及数据服务方向协同。合作包含推动流形空间具身大脑与京东算力底座深度融合,开发具备行业影响力的大脑 API 产品,并共建前沿技术联合实验室以完善具身智能生态。此次合作旨在打通算法—算力—垂直场景链条,加速国产具身智能技术从研发走向规模化商业验证。
博世于 11 月 4 日宣布计划于 2028 年 1 月 1 日设立专门的半导体事业部,该部门将继续隶属于博世智能出行集团。新部门旨在把握全球半导体需求增长机遇,重点拓展机器人、人工智能数据中心等新兴市场,并依托其超过 60 年的技术积累及在 MEMS 传感器领域的领先地位服务客户。
论文介绍 Micius-Flash 是一个拥有 270 亿参数的工程领域多模态模型,具备原生多模态输入、深度推理和 256K token 上下文窗口。研究团队构建了知识树驱动的数据飞轮,训练了半导体知识与推理、硬件编码等专家模型,并通过多教师同策略蒸馏整合能力。
推荐理由:该预印本介绍了面向工程领域的轻量级多模态模型 Micius-Flash,展示了其在硬件代码与半导体任务上的性能提升及工具执行反馈能力。
11月3日,上海纬钛科技有限公司与腾讯云正式达成战略合作,围绕云计算算力、大模型MaaS平台及智能产业落地构建“数据采集—模型训练—应用部署”闭环。双方将依托腾讯云GPU算力支持视触觉多模态数据处理及VTLA、世界动作模型的训练仿真,并计划优先在腾讯云平台部署核心研发系统。合作后续将通过智能制造等具体项目明确实施节点与成效。
11月4日,保利发展控股与北京银河通用机器人在广州签署战略合作协议,结合城市空间运营资源与具身智能技术,探索机器人于住宅社区、商业空间及城市服务等场景的应用。双方将共建高质量数据体系与空间智能运营平台,推动能力迭代并积累技术标准经验,目前尚未披露具体部署规模及实施时间。
WiBotic CEO Ben Waters 指出,随着移动机器人车队规模扩大,机会式无线充电成为消除停机瓶颈的关键。该技术允许机器人在电池降至 20% 时就近补能,使车队能在无需接触式维护的情况下实现 24/7 连续运行。此外,WiBotic 正将业务拓展至地面清洁、医疗推车及人形机器人等新领域,以应对日益增长的充电基础设施需求。
NVIDIA 携手合作伙伴在全球多座城市部署物理 AI 与智能体服务,利用共享计算基础设施降低本地政府数据管控门槛。西班牙马德里等地采用 1MillionBot 处理市政事务,旧金山湾区 LiveX 借助 Cosmos 模型实现机场医院等场景的交互式视觉服务。
极智嘉正式推出《24/7自主智能仓计划》,目标是通过具身智能解决复杂拣选难题,并构建拥有“仓库大脑”的全仓智能系统。该系统整合RMS、WES、IOP三大底层模块与监控、分析、部署三类AI Agent,旨在实现从发现问题到自主决策的闭环,让仓库在7×24小时运行中持续学习进化。材料介绍了其Gravity统一具身框架及Gino 1等产品的落地表现,并引用了全球市场数据以佐证其规模化商业能力。
清华大学与加州大学伯克利分校联合提出并开源了面向训练搭建的跨环境统一框架uni-robot-agent。该工具旨在打通不同机器人及仿真环境的接口,为通用大模型操控机器人、采集数据及训练提供统一基础。