BAT-WAM:连接动作与触觉的世界 - 动作模型用于灵巧手
BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。
推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。
BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。
推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。
Belief-guided Residual Adaptive Control (BRACE) 提出一种分层强化学习框架,通过推断扰动信念来调整参考轨迹以应对空间变化的未知干扰。该方法在三个具有突发切换风场的四旋翼仿真环境及搭载风扇扰动的 Crazyflie 硬件上验证,相比模型预测控制与 RL 基线提升了 reach-avoid 性能。
论文提出 MoE-DAgger 方法,解决机器人分阶段操作中基于路由器熵的相位监督不足问题。该方法利用因果路由历史区分正常相邻相位切换与异常状态,无需在策略执行中提供相位标签或硬命令。实验显示,在匹配的人工控制预算下,Green 任务成功率达 84.0%,Red 任务为 78.0%,均显著优于无相位感知的过滤熵方法,且在 50 次 rollout 中未观测到碰撞。
arXiv 论文介绍 REINS 框架,该框架通过结合动力学模型、校准谓词验证及索引规则记忆,解决了大语言模型在轨迹规划中难以兼顾实时性与自我进化的问题。实验显示该方法在仿真与真实世界基准上实现了超过 98% 的合规率,碰撞减少近 50%,延迟为 1.9-4.6 毫秒,且随着记忆成熟,大模型调用频率单调下降。论文已被 NeurIPS 2026 主轨道接收。
该论文提出一种将单目视频转化为训练好的全身模仿策略的流程,旨在开发类人机器人、辅助设备和康复系统。针对运动学可行但难以通过肌肉动力学复现的参考轨迹及高冗余动作空间的挑战,方法包含两个互补阶段:首先进行受语义、解剖和接触约束限制的肌肉感知重定向;其次估计从肌肉兴奋到广义力的映射,并在零空间注入有界扰动。
该研究通过集成 RANSAC 异常值剔除与聚焦任务相关区域,优化了 DINOBot 框架在物体交互模仿中的对齐阶段。实验涵盖抓取、插入、摇晃和倾倒等真实世界操作任务,相比基线整体成功率提升 13.8% 且收敛更快。论文已接受发表于 ICAR 2025,当前为预印本版本。
论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。
针对无气动控制面的紧凑构型飞行器,该方法联合优化路径几何与时序以生成满足耦合运动方程的动力学兼容轨迹。通过平衡曲率诱导加速度与气动支持,在降低矢量推力需求的同时保留机动特征,并在闭环仿真中成功追踪代表性的翻滚序列。该研究为规划此类无人机的自主特技动作提供了基础依据。
针对单目相机缺乏深度信息导致碰撞检测困难的挑战,本文提出一种结合模型预测与模仿学习的中间路线方法。该方法通过学习碰撞模型将历史图像与控制序列映射为最坏情况下的障碍物清除分布,并将其转化为轨迹优化中的碰撞风险成本;同时利用人类演示学习场景相关的风险平衡及算法参数以加速求解。
论文提出假设场景图(HSG)架构,将持久 3D 家具实体与可修订的表面物体假设分离,以解决小物体检测脆弱及场景变更后陈旧条目残留问题。在此基础上构建的 HSGNav 支持多尺度终身导航:检索阶段根据目标规模选择证据,探索阶段获取额外表面观测,验证阶段确认目标存在或剔除矛盾记录。
本文提出 ReSkill 框架,用于解决组合式操作任务中的自我改进问题。该框架利用代码智能体构建以对象为中心的任务图,定位执行失败节点,并在任务层级优化阶段组织与恢复路线,在技能层级增强感知、运动等能力。
推荐理由:提出 ReSkill 框架,通过定位局部缺陷与验证候选变更实现机器人操作能力的选择性自我改进。
EmbodiedIntentBench 提出了一套用于评估移动机器人任务中意图驱动运行时适应性的基准,通过结构化契约涵盖覆盖、时效证据及资源约束。在多阶段仓库研究中,87.5% 召回率配置仅完成 1/16 任务而低召回率配置完成 14 个,且忽略执行导致的观测损失会逆转策略优劣排序。
针对视觉语言动作模型(VLA)理解三维物理结构的需求,本文提出 SPARK-VLA 框架,在无需推理时引入外部 3D 输入或专家的前提下实现空间适配。
推荐理由:提出无需外部 3D 输入的 SPARK-VLA 框架,通过注意力对齐蒸馏与轻量路由实现参数高效的 3D 感知 VLA 学习。
针对远程非结构化环境中硬件或任务变更导致策略失效的问题,文章提出利用世界模型预测更新后的环境条件以评估现有策略,避免物理执行候选方案带来的风险。研究明确了基于模型的策略重评估、验证预测与实测性能一致性以及融合共享信息支持团队协同适应等关键优先事项。该观点旨在推动世界模型在部署后多目标适应领域的进一步调查与应用。
针对强化学习难以完美优化奖励导致行为不合规的问题,本文提出结合离线规划生成轨迹数据集并蒸馏为基于原始观测的策略的方法。该方法引入双重平均损失和ρ-最优强化机制以解决历史依赖策略的难题,并在需要获取信息才能成功的 Scavenger 挑战域中实现超过90%的成功率,而强化学习基线最高仅为5%。研究还展示了该蒸馏策略在遵循未见过的模糊指令及泛化至更大平面图时的迁移能力分别超过60%和75%。
推荐理由:提出将离线规划蒸馏为策略的新方法,在信息获取任务中成功率超90%,显著优于强化学习基线。
论文介绍了一种名为 MIND(Mechanistic Interpretability for Neural Diagnosis)的方法,旨在解决理解视觉运动策略在机器人操作任务中失效原因困难的问题。
论文提出 Anchor 框架,旨在解决大语言模型智能体在长周期交互中记忆冗余或强化不当行为的问题。该方法通过定位关键轨迹步骤、提取候选记忆,并在相同上下文下对比保留与不保留该源决策的效果,评估其对分布的偏移量及角色对齐度。
推荐理由:提出 Anchor 方法,通过局部验证记忆源决策来筛选有效经验,在 ALFWorld 和 WebShop 任务上提升成功率并减少 Token 消耗。
针对机器人在未见环境中寻找目标物体的挑战,本文提出了 CPNav 导航框架。该框架结合碰撞感知规划与统计校准的 VLM 动作评分,无需地图即可实现物体目标导航。
MaRiO 是一个用于评估多智能体协作推理的基准,针对现有 MLLM 在独立视角下对同一环境进行跨视角对应关系推理的挑战进行了研究。作者评估了 23 个最先进模型,发现静态感知任务较易,而变换事件序列和复杂场景下的跨视角对应及几何线索利用存在困难。作为初步探索,论文提出了基于几何引导的合成视图增强方法,通过生成智能体观测间的中间过渡帧来提供辅助空间上下文。代码已在项目页面开放。
Weijie Yuan 等人发布论文《Mobility Information Capacity of Multi-Robot Systems: Safety-Aware Maneuver Design》,提出一种联合表征多机器人系统在动力学、不确定性和安全裕度约束下机动自由度的框架。
该研究通过两个仿真任务证明,当用户接管控制时,按序重训剩余会话可恢复目标策略;若仅微调动作则无法完全消除被移除用户的影响。实验显示单纯删除数据并单次重训会因丢失训练顺序而失败,且日志虽能识别有害用户但难以优于计数法评估影响力。
论文 OfficeTwin 提出一种面向机器人的框架,将受限自由度摄像头采集的不完整、弱纹理且存在重复结构的办公场景观测,转化为仿真就绪的数字孪生体。该方法先施加度量与结构约束,再利用办公空间的结构冗余性,将重复的工位配准到共享标准坐标系中,从而通过互补观测恢复被遮挡几何而不产生幻觉。在真实办公扫描数据上,OfficeTwin 成功恢复了每个工位的独立水密实体,性能优于前馈重建和生成式基线方法。
该论文提出了一种针对线性倒立摆(LIP)人形机器人的步态规划框架,旨在同时保证避障和运动稳定性。方法通过构建由相交矩形组成的安全走廊,将避障与可捕获性约束相结合,实现了具有递归可行性保证的序列模型预测控制(MPC)。规划器能自主适应受限场景,例如在门意外关闭时切换为原地行走。性能对预测视界依赖较小,在高保真仿真中利用 Digit 机器人验证了其在杂乱环境中的实用性。
论文介绍 BATCH 框架,旨在解决利用人类演示进行机器人学习时面临的具身差异、视角、动作空间和时间结构不一致的挑战。该方法通过循环一致性目标学习自监督时间表示以建立跨具身对应关系,无需人工标注。
该研究提出一种统一惯性编码器,通过运动学 IMU 合成在共享输入空间下联合训练人类与类人机器人数据,结合连续时间编码及传感器随机化。模型无需物理仿真、真实机器人训练轨迹或微调,即可零样本迁移至宇树 G1 实体机器人,在五个数据集上实现最低速度误差(G1 实机为 0.099m/s),并支持仅基于人类数据训练的类人机器人运动描述检索与泛化。
推荐理由:提出统一惯性编码器,实现从人类运动到宇树 G1 机器人的零样本迁移与速度估计。
该论文提出一种实时物理参数估计器,用交互驱动的高斯混合后验替代固定语义类索引,直接基于连续视觉嵌入检索和加权历史交互。方法包含支持感知的融合机制以应对稀疏数据,并通过学习到的嵌入优化提升检索相关性。实验显示该方法能恢复多模态物理信念、拒绝无关历史且不依赖空间地图离散化;在高保真自动驾驶赛车仿真中,控制器随圈数增加积累证据而自适应调整,提升了性能并保持摩擦感知行为。
论文研究了六种预训练视觉语言动作(VLA)模型在四个 LIBERO 任务集上的适应效率,发现模型间样本效率差异显著:pi_0.5 比 pi_0 所需演示少 2-5 倍且在长视野任务差距最大;GR00T 系列中 N1.5 的适应效率优于后续版本。研究还指出冻结视觉语言模块会严重损害联合训练的 pi 模型但对 GR00T 影响甚微,且验证损失低估了 pi_0.5 的样本效率优势。
该研究发布了由机械臂驱动柔性条带、含四台 iPhone 拍摄及相机位姿的四视角视频数据集,并基于此构建了首个 3D LaGSplat 基线。LaGSplat 以抓具加速度为强制项拟合解码器,在未见视图上渲染出 26 至 33 dB PSNR 的画质,且支持浏览器实时交互演示。相关数据集、检查点及训练代码均已公开。
论文针对可微模型预测控制(MPC)训练中非光滑敏感性和昂贵评估两大瓶颈,提出 SmoothedTurboMPC 求解器与 Short-Horizon Actor-Critic(SHAC)算法。
针对自主系统在不确定性下安全导航的挑战,本文提出一种偏好增强分布强化学习方法。该方法将风险偏好的变化表示为量化权重分布的偏移,并通过偏好引导探索让智能体接触多样化偏好;部署时优化最坏情况下的偏好分布以生成保守策略,从而减少超参数调整和对外部传感器信号的依赖。实验表明,该方法在仿真环境和车辆平台上均能降低碰撞率并提高任务成功率。
天翼电信终端与优必选签署全面战略合作协议,未来三年将共同推动家庭陪伴机器人终端行业规模突破百万台、超仿生及轮式人形机器人等终端行业规模突破十万台。中国电信云网融合底座将封装 AI、量子、卫星及安全能力嵌入机器人本体,并依托全国渠道网络开展租赁服务与营业厅创新体验场景试点。
灵猴机器人宣布面向具身机器人的液态单目相机首发订单于11月10日突破1000台,该产品在工博会发布后不足一个月即达成。其核心采用柔性变焦技术,通过调节液态镜片屈光度实现毫秒级连续对焦,解决定焦相机在动态场景中的虚焦问题。该技术路径将工业成熟光学能力迁移至机器人领域,旨在提升移动导航、柔性抓取及人机交互等场景的视觉稳定性。
维他动力于 11 月 10 日发布 DEV 极客版四足机器人,官方售价 22988 元,“双十一”限时价 20988 元。该平台面向个人开发者,硬件预装激光雷达、双目摄像头等传感器并支持 AI Agent 辅助开发,底层兼容 ROS2 且提供仿真工具与动作包仓库。材料提及公司首款产品“大头”已实现量产交付,但 DEV 极客版的具体部署状态未作说明。
Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。
推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。
Seedream 5.5 在连续编辑 100 轮图像任务中表现优于 GPT-Image 2.6,支持透明图直出、图层拆分及多语言渲染,单张 2K 方图编辑成本约 0.28 元。该模型已在即梦、豆包和豆包工作上线,具备多图融合与复杂动作迁移能力,能在 1 分钟内生成电影感画面并精准处理小字海报。
11月9日,上纬启元机器人生产基地暨全国首个"Expert"个人机器人制造基地项目在杭州富阳签约。该项目由上纬启元、金固股份与富阳产业投资集团三方设立运营主体,旨在将研发验证至场景应用串联并带动配套企业集聚。上纬启元作为上纬新材旗下品牌,其启元Q1和T1产品已于9月首发发货,新基地负责承接制造与全国总部运营职能。
苹果开源的机器人自主控制系统 HALO 在宇树 G1 人形机器人上完成真实测试,单项任务平均成功率为 91%,引发市场关注。消息面发酵推动人形机器人板块走强,同星科技等概念股涨停。宇树股价受此影响高开高走,盘中最高触及 809 元,市值一度突破 3200 亿元。
盖世汽车报道了多家车企的最新动向。特斯拉在得克萨斯州圣安东尼奥开通无人监督的 Robotaxi 服务,覆盖面积创纪录;马斯克表示 Optimus 机器人将转向租赁而非出售模式;因订单超出产能,特斯拉宣布向大量 Cybertruck 客户退还订金。
2026 年进博会汽车展区核心展品从概念转向已上市实车,大众展出首批搭载 VEGA 本土技术矩阵的 ID. ERA 5X,通用展示基于本土自研架构且交付即搭载 Momenta R7 世界模型的 XT5 PHEV。这一趋势标志着跨国车企研发决策权向中国团队迁移,定义权与量产能力正从“为中国适配”转向“在中国定义”。
该综述调查了多模态推理、生成、GUI/Web 导航及具身操作四种场景下,无需人工标注的自进化机制在跨场景转移时的不对称性来源。研究将自进化定义为包含经验生成、反馈获取与更新整合三阶段的循环,并分析稀缺因素组合如何限制不同方向的能力迁移。文章提出通过匹配预算测量来推翻当前未验证的结论,共 44 页含 15 张表格和 4 幅图表。