VLA 是否知晓其将失败?物理 AI 系统中可解释的成功与失败模式
该研究提出利用 OpenVLA 激活的稀疏自编码器(SAE)表示来预测机器人任务失败,并在达到不可恢复状态前识别出相关特征。作者通过定位显著激活变化的时间区间,揭示了导致成功或失败的特定行为模式,并开发了基于 VLM 的解释管道生成这些模式的描述,验证了其与特征激活的一致性。
该研究提出利用 OpenVLA 激活的稀疏自编码器(SAE)表示来预测机器人任务失败,并在达到不可恢复状态前识别出相关特征。作者通过定位显著激活变化的时间区间,揭示了导致成功或失败的特定行为模式,并开发了基于 VLM 的解释管道生成这些模式的描述,验证了其与特征激活的一致性。
Geometry-Aware Reinforcement Learning for Close-Fitting Wearable Insertion 将穿衣任务建模为几何感知插入问题,结合分阶段课程与手指级软门控机制。该方法在刚性及柔性手镯任务中达到 84.7%±1.2% 成功率,真实机器人实验于假人手模型上完成 15/20 次成功。研究通过组件消融与初始手姿变化验证了框架有效性。
论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。
推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。
这篇论文针对机器人操作任务中实时响应与执行稳定性的平衡难题,揭示了流匹配视觉语言动作模型中数值求解器深度与执行视界之间的基础计算 - 执行耦合关系。研究发现,粗粒度数值积分虽会降低快速重规划下的精度,但能显著改善长开环承诺下的任务性能;几何上,数值截断收缩了不变轨迹质点周围的侧向动作离散度,起到了抑制累积开环漂移的隐式正则化作用。
推荐理由:该研究揭示了流匹配 VLA 策略中执行视界与采样深度的耦合机制,在不修改架构和无需训练的情况下显著降低推理延迟并提升任务成功率。
该论文记录了在 InternVLA-A1 和 Pi0.5 上集成测试时训练(TTT)的实验配置与观察结果,指出在当前规模下该方法未能实现基于演示的持续目标选择。研究考察了记忆转移、截断反向传播及对比正则化等设置,发现较短序列或全轨迹梯度连通性并未显著提升对演示的响应能力;当演示简化为单帧提示时,真实机器人执行仍表现出对固定位置杯子的偏好。材料提供了实现细节与训练配置以支持进一步检查与复现。
针对行为克隆对训练数据覆盖度敏感的问题,该研究提出 DiscoDemo 方法,利用强化学习作为下游视觉运动模仿学习的数据生成器。该方法通过并行反向课程和成功门控多样性目标,在保持任务成功率的同时挖掘多种成功的解决方案模式。
该研究提出了一种名为 Robotic Budding 的物理自复制方法,利用单一标准化模块(含磁吸接口与两个驱动关节)从二维平面折叠成三维结构。系统演示了通过离散运动指令,由人工遥操作引导父机器人吸附备用模块并组装出结构相同的子机器人(如三模块“三叶虫”或五模块“海豹”形态),随后两者分离且父体保留原有模块。
该研究提出集成神经细胞自动机的模块化框架,通过去中心化附着点发现机制实现无需预定义列表的渐进式生长。离线稀疏保留微调结合假阳性损失显著提升了数百机器人规模的晶格形态准确性。Crazyflie 四旋翼实验利用外部跟踪重建相对观测,验证了从仿真到现实的闭环执行管线有效性。
研究通过强化学习在受约束样本预算下训练 200 个人形机器人玩躲避球,发现低分辨率“有损”近场传感器比高分辨率覆盖更能作为归纳偏置促进反射性避障行为。实验表明,预测接触发生时机和位置反而降低了学习效率,而包含潜在压缩、未来接触预期等八种候选表示中,损失型传感器表现最强。该工作旨在以最少演示数据让数据驱动机器人学会避免碰撞,无需收集破坏性样本。
针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。
推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。
研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。
推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。
BM2PC 框架通过控制即推理的后验将多模态规划转化为集合优化问题,在无需任务特定策略训练或微调的情况下,轨迹跟踪泛化性优于学习基线。真实世界实验显示其长视界跟踪准确,最长任务均方根误差降低 44.0%,避障规划时间减少 29% 至 66%。核心实现与补充视频已公开于 GitHub 链接。
论文介绍 EgoForesight 框架,旨在解决机器人策略学习中高质量轨迹监督成本高、而第一人称视频存在运动重建噪声的问题。该方法通过联合视觉 - 动作流统一可靠性感知学习与结果导向表示转移,结合可靠性条件化数据损坏与特权未来表示蒸馏技术。
FORCA 是一种将视觉观测与腕部力/扭矩测量作为输入以编写 Python 程序的编码智能体,专门针对接触丰富的操作任务。该研究无需演示、特定训练或仿真,通过在五次真实机器人任务中检验其效果,展示了在提升操作精度、适应物体属性变化以及调节表面和物体运动下的接触控制方面的能力。与仅视觉的变体相比,FORCA 提高了抓取准确性和任务成功率,并减少了擦拭和剥离过程中的接触丢失。
针对真实机器人在线学习中的不安全交互问题,作者提出 SEVI 框架,通过证据安全评论家同时估计未来约束违反风险与认识不确定性,并在执行前对动作进行过滤或切换至离线恢复策略。
针对偏好强化学习依赖昂贵人工标注的问题,该工作提出了 PrefO2O 框架,通过从少量源任务数据中学习任务不变的潜在偏好空间,实现了对未见目标任务的零样本迁移。
该论文介绍 KiRoSe 框架,旨在将机器人演示数据分割为不重叠的时间与语义子段以辅助学习与清洗。针对直接摄入多路视频流成本高且易耗尽上下文的问题,该方法聚焦于机器人运动学数据流,提出稀疏运动令牌(SMTs)来紧凑表示重复的运动模式。
简智机器人正式开源Gen-HumanWholeBody数据集,包含600小时高精度全身移动操作数据,覆盖16976个场景和1281种人类技能。该数据集采用第一视角Ego视觉方案采集,利用自研数据基础模型(DFM)将原始行为转化为结构化数据,实现了多模态统一对齐,可直接投入机器人策略训练。
跨维智能联合香港中文大学(深圳)、佛山大学、华南理工大学发布TaskAnchor技术,旨在解决长程操作中因画面信息不足导致的任务状态混淆问题。该技术通过轻量适配器接入历史信息,输出任务状态坐标并利用上下文自适应测试时训练模块补充历史视觉证据。
推荐理由:跨维智能发布TaskAnchor,通过引入历史上下文提升预训练具身模型的长程任务成功率与状态识别能力。
近日,松延动力与一龄集团达成战略合作,其具备多模态交互能力的仿生机器人“小月”将作为业务终端融入日常康养服务流程。该机器人头部最多配备30个自由度,结合视觉感知与AI大模型实现眼神交互及唇形同步技术。双方将从外观表达、知识交互和服务流程三个维度积累场景经验,探索形成可复制的运营方案。
思灵机器人与英伟达在GTC大会上联合发布面向科研的人形机器人Agile ONE SN,该产品基于Isaac GR00T开发平台打造并预配置完整软件栈。硬件方面本体高1.4米、重43公斤,具备31个自由度,板载Jetson Thor计算平台及多视角传感系统。
10月22日,优必选与中欧数字协会签署谅解备忘录,聚焦制造业、物流等领域推动人形机器人落地。双方将依托本土资源网络协助理解监管规则并对接潜在客户,旨在从单纯出口硬件转向“中国硬件 + 本地集成”的生态模式。此次合作属框架性意向,不涉及具体采购金额,最终业务转化取决于后续项目对接。
智元与成都文旅集团合作,灵犀X2双足人形机器人在成都宽窄巷子组建专属班组,实现迎宾咨询、文化讲解和便民零售三大岗位全覆盖。其中零售仓方案基于自研全身VLA模型,支持20余类SKU作业,成功率超98%,单次任务节拍约30秒。智元同时推出SkillForge端到端开放平台,允许客户在现场采集数据并一键训练部署新任务,无需重新设计固定流程。
上纬新材旗下消费级品牌启元机器人于10月25日完成第5000台下线,距离9月发售仅一个月。整机制造合作方沪光股份将汽车零部件精密制造能力迁移至机器人环节,实现每2.5分钟下线一台,日产能达200余台。产品定位为学伴、玩伴和家庭助手,支持AI启蒙课程、语音游戏及360度避障等功能,部分用户日均使用时长超1小时。
2026 年亲橙大会期间,高德动量机器狗“途途”在阿里巴巴杭州西溪园区开展真实运营检验。该方案利用高德长期积累的空间数据、路网及 POI 信息构建世界模型底座(DATA),结合导航基座 ABot-N1 与操作基座 ABot-M0.5(MODEL),通过 ABot-AgentOS 实现任务规划与记忆沉淀(AGENT)。
智元发布了安规级重载具身工业机器人精灵G2 Max,单臂负载20公斤、双臂峰值可达50公斤,具备亚毫米级作业精度和腰部俯仰结构以适配紧凑空间。材料披露该产品已在昆山沪光工厂参与启元T1零部件搬运、头部物流企业开展入库拆码垛测试(成功率超99%)、以及头部食品企业完成成品拆码垛交付(单箱节拍35秒,成功率不低于99.9%)。G2 Max采用双电池热插拔与自动回充设计,支持7*24小时不间断运行。
智元组织110台远征A3在济南黄河国际会展中心成功挑战吉尼斯世界纪录“最多人形机器人同时群舞”。表演展示了机器人在精准定位、动作同步及实时调度下的协同能力。智元合伙人王闯介绍,此次挑战使用了自研LinkBots群控调度系统,配合UWB厘米级融合定位与5G/Wifi双模通信,支持千台以上机器人协同;平台采用分层协作架构以应对断联等异常,并支持折叠包装、自主出入箱及单人部署。
Nvidia 开源了名为 Flora 的开放数据引擎,旨在将机器人视频标注成本降至约 72 美分/小时(相比 GPT-6 Astra 的 88.50 美元),主要服务于 GR00T 模型的训练。
本周具身智能领域大事如下:宇树科技股价反弹,市值重回2500亿元;传松延动力秘密向港交所提交上市申请;特斯拉Optimus在弗里蒙特工厂启动早期生产,规划年产能100万台。
Eka Robotics 宣布完成 1.5 亿美元 A 轮融资,由 Andreessen Horowitz 和 FMR 旗下基金领投。该公司基于强化学习构建了视觉 - 力-动作(VFA)基础模型,旨在通过大规模仿真训练让机器人在物理环境中具备泛化能力。
阿里巴巴集团旗下高德正式发布首个基于开放世界行为的全身基座模型λ0,该模型仅依靠人类行动数据即可让机器人学习移动、姿态与双手操作的全身协调。在SIMPLE仿真基准及多项真机评测中,λ0均取得SOTA表现,数据采集效率约为主流方法的3.4倍,真机任务成功率较最强对比基线提升22.5%。
推荐理由:高德发布首个基于开放世界行为的全身基座模型λ0,仅凭人类行动数据实现零样本迁移,并开源了相关硬件配置代码与HumanVerse数据样例。
ReGE 框架利用单次教练调用将执行记录与现有工件合成为自包含指导,无需参数更新即可提升 GPT 和 Claude 在四个基准测试中的准确率。ReGE-Syn 实现相比适配 AggAgent 减少 98.2% 至 95.5% 的指导构建 token,且联合 token 数分别降低 15.7% 与 35.4%,验证了利用自身经验优化任务完成的有效性。
该研究指出成功的工具使用轨迹未必能提供有效的监督信号,可能遗漏多步依赖或包含决策时不可见的动作。为此提出 Trajectory2Gym 方法,通过构建围绕未充分支持的可组合结构的可执行交互,仅从已实现执行中的 grounded decisions 推导监督信号。该方法在五个 Qwen3 规模上均提升了 Tau1、Tau2 和 BFCL 基准的平均表现,尤其在状态依赖和多轮交互任务中增益显著。
针对智能体数据分析需大量标注任务的痛点,该方法提出 EnvLunch 阶段,利用可执行环境的丰富交互结构生成无标注任务,让模型仅凭最终观测恢复等效轨迹。实验显示,该预热策略使模型在各类下游训练预算下平均超越基线超 9 个点,且仅需少量标签即可达到基线需 8 至 32 倍数据量的准确率。
推荐理由:该预印本提出利用可执行环境本身作为无标注任务来源,在下游强化学习前进行免标签预热训练,显著降低对人工标注数据的依赖。
Generative Bionics 宣布计划在意大利建立首个占地 5000 平方米的专有“Physical AI Data Factory”,预计于 2027 年第四季度投入运营,旨在将人形机器人从实验室演示推进至可靠的工业部署。
IEEE Spectrum Robotics 发布“视频周五”栏目,精选了包括 ETH Zurich 团队展示的四足机器人利用 Reflex 框架自主解决巨型魔方在内的多项具身智能成果。内容还涵盖了 KAIST 人形机器人的全身操控、生物混合机器人及 SuperMimic 等仿真加速技术,旨在呈现当前机器人在视觉反应与全身控制领域的最新进展。
推荐理由:该视频合集展示了四足机器人自主解巨型魔方等全身操控能力,为评估具身智能在复杂动态任务中的进展提供了直观参考。
智元宣布开源 AGIBOT WORLD 2026 的第四版发布内容“物理推理”数据集,将任务设计重心从操作难度转向决策复杂度。该数据集覆盖具身智能五大研究方向,包含超 10 类逻辑推理场景,记录同一目标在不同状态与约束下的决策与执行过程。通过连接高层指令、子任务分段、动作步骤及空间标注,支持决策模型与底层策略的协同训练,旨在帮助机器人从孤立操作迈向自主完成复杂现实任务。
推荐理由:智元开源 AGIBOT WORLD Release 4,提供涵盖多状态约束的物理推理数据集与细粒度标注,支持决策 - 执行联合训练。
瑞士具身智能初创企业 Enact Intelligence 宣布完成约 2 亿美元的 Pre-Seed 轮融资,由 Redalpine 和 Notion Capital 领投,Yann LeCun、Arthur Mensch 等知名投资人参与。
字节跳动官网及 BOSS 直聘显示,其 Seed Model 团队新增十个机器人岗位,覆盖本体设计、底层控制与数据评测等方向。招聘强调推动样机从“能跑 Demo"走向“能稳定交付”,要求候选人具备跨团队协作及复杂系统拆解能力。此举标志着字节在推出 GR-3 模型及 ByteMini 后,进一步加速具身智能的量产与商业化落地进程。
北京具身智能数据基础设施公司星忆智能宣布完成种子轮及种子+轮连续融资,资金将用于核心算法、产品研发及商业化能力构建。该公司推出EgoKit头戴式多模态数据采集系统与HBR Engine智能数据引擎,旨在通过第一视角记录与自动化处理技术,为机器人模型训练提供高质量数据资产。创始人宋知珩曾任智元机器人整机产品负责人,团队汇聚清华等高校人才及产业核心成员。