AutodidactWAM:从生成视频到机器人动作的跨模态自蒸馏研究
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
该方法利用眼在手相机配置与虚拟模型控制,在受限及开放环境中实时导航并获取信息。实验显示其在所有测试场景下于 120 秒内完成超 90% 的建图覆盖率且无碰撞。该工作已提交 IEEE 待发表,包含 8 页论文与 10 张图示。
针对无先验地图场景,该研究构建 Habitat Sionna RT 基准以生成对齐的视觉与射频观测数据。提出的不确定感知多模态导航框架联合估计目标方向及其不确定性,引导动作选择。实验显示在未见场景中,相比最强基线成功率相对提升 18.2%,加权路径成功率提升 11.5%。
该研究针对人机物体交接中需预测特定任务手部姿势的挑战,提出了 GENESIS-Handover 方法。该方法利用视觉语言模型(VLM)的图像生成功能,为多种手物交互模式生成假设,并实时匹配观测到的人手姿态以推断最佳交接配置。实验在移动操作臂上进行用户研究,结果显示该方法在任务理解能力上优于现有最先进方法。
论文介绍 IronMan 框架,利用信息瓶颈原则抑制无关视觉细节以增强策略泛化能力。实验显示其在 LIBERO 任务上达到 99.0% 成功率,在 RoboTwin clean2clean 上为 79.4%,且在分布外偏移下仍优于最强基线。材料仅包含预印本摘要与链接,未提供代码或部署许可信息。
论文提出 Consequence-Aware Adaptive Action Chunking (CA$^3$C) 框架,解决动作分块策略中执行步长固定的问题。
该论文针对演示条件策略在视觉相似状态重复或执行速度不匹配时易出现‘阶段混淆’的问题,提出 PACE 方法。该方法将演示压缩为有序多模态提示词,利用训练时的双边注意力监督暴露潜在结构;在执行过程中通过局部快速权重记忆因果编码已实现的行动观测转换,调制提示词交叉注意力,从而在不依赖测试时阶段标签或特定策略的情况下生成进度对齐的上下文以驱动统一扩散动作专家。
MetaMorpher 是一款兼具旋翼悬停与固定飞翼巡航能力的变形态无人机,本文重点研究其悬停模式下的电机推进与新型机翼副翼扑动两种相位同步推进策略。仿真实验证实了数学模型并显示扑动推进是轻量级解耦替代方案,物理原型测试验证了垂直动力学模型在不同构型下具有极佳的稳态一致性。
针对现有系统依赖在线运动重映射导致高延迟及物理不可行目标的问题,本文提出免重映射策略,将原始人类动作直接映射为机器人关节指令。通过构建全身运动基元代码本,该方法能将分布外观测投影至合理原型并从部分输入恢复完整动作。在 Unitree G1 仿真与硬件上,结合 VR、光学动捕及视频等多模态输入的实验表明,方法在延迟和鲁棒性上优于基线。
针对高维动力学与非凸环境下的受限运动规划挑战,该方法将主动约束几何转化为可执行的去噪算子,并通过自适应扩散调度解耦生成传输与反向随机性。实验表明,其在四足和双足机器人的离散落脚点选择及连续姿态规划任务中,相比现有模型基扩散方法取得了更高的成功率、更少的违规次数以及更好的执行兼容性。
论文 CoRE 研究单策略去中心化协作,即所有机器人运行同一策略且无身份标签或互通信。该方法从多任务演示中学习协作角色专家,利用外观与几何信息提供局部交互证据,并通过查询条件交叉注意力实现可适应预测路径。训练阶段使用动作 - 专家对齐损失监督专家选择。在仿真基准中表现最佳,物理实验显示其对伙伴延迟和减速具有鲁棒性。
推荐理由:该工作提出单策略去中心化协作框架,在仿真与物理实验中均验证了多机器人互补行为的有效性。
该论文针对精密装配中位姿误差导致观测与动作坐标系偏移且无法仅凭本体感知识别的问题,提出在训练阶段引入特权教师或重标演示数据以补偿缺失信息的方法。实验显示,该方法在 FORGE 基准测试中,面对 0 至 5 毫米的位姿噪声时成功率维持在 92% 至 99%,显著优于其他基线方法;在 Franka 机器人零样本部署下,面对 5 毫米噪声时的成功率为 83.3%,而最强状态基线仅为 34.4%。
推荐理由:针对精密装配中的位姿误差问题,提出利用特权噪声蒸馏提升视觉 - 力控策略鲁棒性的方法。
ExoBridge 是一个利用人体肢体耦合来建立裸手视频与传感器化外骨骼运动及触觉状态之间映射的框架。采集时一手裸露提供视觉观察,另一手佩戴外骨骼并同步测量运动与触觉数据,以此训练时序视觉模型预测指尖接触、连续触觉强度及相对编码器运动。
EigenDEXplore 通过沿人类衍生的特征向量添加扰动,在保持动作空间不变的前提下实现相关探索,显著优于关节空间和 learned action-space 基线。该方法在抓取、手内重定向及富接触操作任务中表现一致,且在奖励塑形较少且课程设计较少的仿真到现实部署场景中增益最大。
针对收集大规模实物关节物体交互演示困难的问题,作者提出 SMART 系统及其核心仿真平台 SMART-Sim。该系统利用代理任务生成与分布式合成技术,构建了包含超过 100 万次演示、覆盖 44 种原子任务类型、5 种机器人配置及 2507 个关节物体的数据集 SMART-Data。
推荐理由:提出 SMART 系统,通过大规模合成演示实现零样本仿真到现实迁移,提升 VLA 模型在复杂接触任务中的表现。
论文提出 TacZero,一种无需额外触觉或操作训练、也无需任务特定规则的免训练圆柱销插入方法。该方法利用预训练的通用视觉语言模型(VLM)解释视觉和触觉观察结果并选择机器人动作,将相机图像、机器人状态及三轴触觉响应数值叠加在图像上作为输入。
该论文提出了一种从非分割点云中学习抓取位置与姿态的策略,运行于拖车挂载的液压林业起重机上。研究在仿真中实现了 98% 的原木堆清理成功率,并通过行为克隆结合强化学习的策略提升了负载稳定性。实地试验显示,相比几何启发式方法,学习到的策略能处理包含存储架导轨和立柱的未过滤点云,完成度更高;但仿真的稳定性增益并未完全迁移到真实测试台。
论文提出了 BiGym 2.0,这是针对宇树 Unitree G1 机器人的家庭操作基准套件,包含 20 个任务和每个任务 60 次原生 VR 演示。研究在统一全身控制器下对比了视觉语言动作微调、模仿学习、演示驱动强化学习和冷启动编码代理,发现微调方法在九项任务平均表现最佳,而代理开发程序在所有演示驱动强化学习基线上均占优。材料开源了环境、演示和评估轨迹,并指出跨工作区堆叠等挑战仍待解决。
针对仿真训练的灵巧操作策略在真实世界因接触时序和力调节误差而失效的问题,本文提出 ReDex 框架。该框架允许人类操作员在真实部署中,对选定手指进行物理修正以纠正接触失败,同时保留基座策略控制其余手指。
推荐理由:提出 ReDex 框架,通过人机协作修正接触失败并引入触觉反馈,将物体翻转成功率从 14% 提升至 86%,为仿真策略迁移提供新路径。
针对软体变形跟踪中难以处理切割等拓扑变化的问题,该方法提出了一个全可微框架,利用基于 Sigmoid 的连续公式平滑离散切割事件以支持梯度优化,并结合 Stein Variational Gradient Descent 进行粒子概率推断。
MobileVISTA 是一个数据生成框架,旨在解决端到端操作策略在机器人部署时因微小姿态偏差导致性能骤降的问题。该框架将采集于标准姿态下的演示数据转化为多样化、姿态扰动后的训练数据,通过联合增强以眼为中心(egocentric)的视觉观测并重新定向动作以补偿基座姿态变化。
推荐理由:该框架将演示数据转化为多姿态扰动数据,无需额外采集或生成模型即可提升策略对非分布内姿态的鲁棒性。
该研究提出基于欧拉 - 牛顿推导的离散连杆模型,替代传统无质量刚性杆假设以精确模拟柔性缆绳。实验在温和、激进及张力介入机动中验证,负载平移误差低于 132 mm(5.5% 缆长),姿态误差低于 11.4 度。作者公开飞行数据供未来缆绳模型开发,论文已获 ICRA 2026 接收。
该平台采用 3D 打印与水射流推进技术,开发成本为 600-1500 美元且重量低于 5 公斤。系统最高时速达 2 m/s,具备避障能力并擅长水深测量与水质量检测。论文已作为 IROS 2024 最佳应用奖决赛入围作品在 arXiv 发布,代码与组件均基于现成开源方案构建。
该方法通过堆叠三种几何的平面柔顺模块及统一模型,结合遗传算法与序列二次规划优化出目标刚度曲线。实验验证显示模拟刚度偏差低于 6.5%,在 1 m/s 高速运动下最大角向顺应度约 15°且能保持柔性避障。该框架为构建具备任务特定刚度特性的柔性接口提供了系统化方案。
本文提出了一种针对四足机器人的鲁棒非抓持物体搬运框架。该方法采用不确定性感知轨迹优化生成对参数不确定度敏感度最低的物体运动,并通过耦合凸模型预测控制器联合预测四足机器人与负载质心动力学,辅以全身二次规划约束地面反作用力。实验在物体惯性参数变化下进行了广泛仿真与实机测试,结果显示相比固定朝向和直线轨迹基线,优化后的物体运动分别减少约 50% 和 30% 的滑动,同时降低了机器人质心跟踪误差。
针对第一人称操作数据稀缺的问题,作者推出了 RoboCap 平台和 Grounded API 工具集。该平台包含一个 250g 六摄像头双 IMU 头戴设备,配合厘米级精度的 3D 算法,在公共基准测试中展示了先进的 SLAM、深度估计和手追踪性能。材料为第一人称机器人数据采集提供了硬件与算法整合的参考方案。
论文提出了 BRACE 方法,旨在解决现有全身跟踪器无法同时处理物体交互力和复杂地形的局限。该方法将施加的力和地形坡度直接融入参考信号中,通过足点和质心调整实现地形顺应,并利用手位移产生的力与质心变化进行解耦补偿。
该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。
推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。
Physical Twins 提出一种改进的 Phantom 装置,作为机器人学习的物理孪生体以解决人机物理实验的安全与重复性问题。该设备复刻肩关节球窝运动及肩胛骨/前后伸动作,支持 Franka Panda 机械臂在 ADLs 和 pHRI 任务中感知极限并进行交互测试。
FireDome 推出完全自主的地面发射器系统,旨在火灾发生前为社区和关键基础设施铺设阻燃防火带并压制飞火。该系统射程可达 1000 英尺(304.8 米),单点覆盖面积约 70 英亩(28.3 公顷),以解决飞火引发的连锁燃烧问题。公司创始人 Gadi Benjamini 指出,当前技术多局限于检测而非主动反应,FireDome 致力于在消防员到达前切断火势蔓延的“多米诺效应”。
FlashDexRetarget 是一种强化学习框架,用于将人类手 - 物体演示高效重定向到不同机器人本体。该方法将重定向建模为多参考跟踪任务,利用离线强化学习和几何监督联合学习单一策略以处理多个演示。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
论文提出 DITTO-X,这是一种无需针对特定机械手重新设计的通用遥操作接口。该系统利用安装在灵巧手上的传感器渲染关节级力与指尖接触事件,支持正向遥操作及反向遥操作(机器人驱动操作员手指进入匹配状态)。实验表明,DITTO-X 在数据采集和策略部署干预环节均优于商业手部追踪手套,有效解决了视觉遮挡下的共享自主控制难题。
DODGER 是一种安全引导的强化学习框架,在训练时直接执行策略动作并利用控制屏障函数(CBF)参考与约束违规来塑造避撞行为。该方法通过杜比恩汽车安全分析及全序人形机器人仿真验证了多动态障碍物下的目标导向导航能力。实验基于 LiDAR 感知且在无需运行时安全过滤器的真实世界人形机器人实验中成功完成,证明了其在动态场景中的有效性。
论文提出一种分层控制架构以解决两轮倒立摆机器人在执行非对称物体操作时面临的严重动力学不稳定性与导航漂移问题。系统利用离线视觉追踪 ArUco 标记提供全局航点导航,规避里程计误差;同时通过在线低延迟控制回路抑制物理扰动。实验显示该方案使定制机器人能在颠簸路面和动态坡道上准确导航并安全携带负载而不倾倒。材料为预印本,已接受于 2026 IEEE CINS 会议展示。
CoBrush 提出一种分层规划框架,将多轮人机共绘分解为语义推理、空间定位与笔触控制三个协同过程。系统在真实丙烯画布上通过真人 - 机器人协作会话验证,相比单轮基线实现了更强的语义对齐、更稳定的空间推进及更高的动作可信度。该成果已接受发表于 2026 IEEE/RSJ IROS 会议,证明了结构化多阶段推理在构建内容丰富的实体艺术作品中的有效性与鲁棒性。
DexAgent 是一种代理式 Human2Sim2Robot 框架,能将单目人眼视频和任务提示转化为物理落地的机器人轨迹以训练策略。该框架包含语义理解、基于属性的仿真重建、轨迹优化和数据生成四个阶段,通过自适应选择或开发新技能及属性验证器来适应不同物体与长周期任务。
该论文提出通用操作表示(UMR),将操作分解为与本体无关的世界流和本体轨迹两个几何关联组件,并实例化为 World--Ego Point VLA 模型。研究通过数据高效策略提升效率,在仿真基准上平均成功率达 97.5%,真实世界实验中利用约 10 分钟的人类演示即可实现跨机器人零样本迁移,平均成功率为 91.7%。
推荐理由:提出统一动作表示 UMR,实现从人类演示到异构机器人的零样本技能迁移。
FAVOR 是一款针对无执行机构航天器的碰撞规避规划器,通过独立于展开分辨率的决策维度与解析递归灵敏度实现高效计算。在七自由度臂与五个仿真航天器模型实验中,该算法点对点成功率达 99.8%,平均耗时 1.779 秒,显著优于 IK 初始化位置样条基线(62.9%、50.270 秒)。
PredActor 是一种预测性动作扩散策略,利用仅本体感知输入统一了引导模式,联合预测执行动作与内部未来状态轨迹以支持引导。该方法在仿真中达到 45 个目标中的 44 个,文本检索得分 0.539,优化后的推理延迟在 Jetson Orin NX 上低于 20ms。已在宇树 G1 硬件上演示了文本条件运动、抗干扰及语义插值能力。