面向人形机器人的视频模仿学习中的直接动态重定向方法
针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。
推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。
针对单目视频演示到人形机器人运动迁移的形态失配问题,本文提出直接动态重定向(DDR)方法。该方法在物理仿真器中利用基于采样的模型预测控制求解器,直接在任务空间追踪人体关键点,无需接触标注或中间几何重定向步骤。
推荐理由:提出直接动态重定向方法,在仿真中实现零样本迁移至不同尺寸实体机器人,并开源代码与数据集。
MillBill 是一种将加工决策与几何执行及验证分离的智能体系统。给定边界表示零件、毛坯和材料信息,本地托管的中大型开放模型负责提出操作和切削参数;几何约束生成器则生成刀具路径、模拟材料去除并返回反馈以优化计划。系统考虑了刀库的物理可达性而非仅可见性。基于 Qwen3.8-27B 的评估显示,MillBill 在指定公差内的目标表面积比例上优于前沿模型方法。代码与论文已公开。
推荐理由:该工作提出将加工决策与几何执行分离的代理架构,在仿真环境下验证了其对复杂零件加工的优越性。
论文介绍 Body Schema Policy (BSP),一种将身体图式构建为视觉与动作接口的模仿学习策略,其潜在身体图式在机器人运动学树上放置关节和连杆 token,利用学习到的螺旋运动传递特征。
推荐理由:提出将身体图式作为视觉与动作接口的模仿学习策略,在仿真及真实机器人上以极少参数实现高效全身位姿控制。
现有代理操作系统将预训练的视觉语言动作策略视为不透明的语言原语,在指令或场景扰动下无法调整行为。本文提出 InteractVLA 框架,通过双向几何接口使预训练流式 VLA 成为可被几何引导和检查的工具:正向利用测试时几何引导将末端执行器目标转化为输入梯度,反向暴露动作片段与相机重投影以诊断空间差异并修正后续调用。
推荐理由:提出 InteractVLA 框架,通过双向几何接口将预训练 VLA 转化为可交互工具,实现测试时几何引导与递归自我改进。
论文介绍 Progress Predicts Policy (PPP),该方法通过学习语言条件的标量场并利用其微分诱导命令,结合共享世界模型读取动作梯度以生成连续或离散动作控制。实验表明,在无需额外标注的情况下,仅拟合演示进度值即可实现优于行为克隆的策略性能,适用于仿真与真实机器人操作任务。
推荐理由:该工作提出通过语言条件标量场学习混合策略,无需独立动作头或迭代搜索,在仿真与真实机器人操作中优于行为克隆。
论文介绍 Heave-Ho 框架,旨在解决人形机器人长程协作中的全身交互、长期规划与同步难题。该框架在底层利用多智能体后训练适配物理耦合交互,在高层训练视觉语言规划器并设计基于语音的领导者 - 跟随者协调机制,实现无需网络通信的去中心化执行。
推荐理由:提出去中心化多个人形协作框架,通过视觉语言规划与语音协调机制实现无需网络通信的长程协同。
论文提出了 FlowRRT,这是一种针对离散地形单足跳跃的激动力学规划器。该方法将多起点 MPPI 专家离线收集的可行动作集通过条件流匹配蒸馏为生成采样器,以解决传统方法在狭窄不连通动作空间中的局限性。
推荐理由:提出将 MPPI 专家蒸馏为生成采样器的 FlowRRT,在单足跳跃任务上实现更短规划时间与更高成功率。
论文介绍 MorphQuad 一种可变形态四旋翼飞行器,通过独立关节化的转子系统与新型控制推力分配算法,实现任意方向最大推力矢量输出与几乎全域稳定性。硬件保留平面结构并消除控制奇点,支持连续多圈旋转、阀门转动、抓握按压等超人手力级操作及抗风恢复能力。材料为预印本论文,未报告真实场景部署结果或商业化状态。
推荐理由:提出可变形四旋翼架构与闭环控制算法,实现任意姿态飞行、超人手力级操作及抗风恢复能力。
该论文提出了一种针对扭矩控制机械臂的紧凑型无偏交互误差模型预测控制(MPC)方法。该方法基于操作空间抵消原理,将交互建模为可预测量,利用力域随机游走状态估计持久交互与模型误差,并通过 30 变量凸二次规划映射修正。
推荐理由:作者提出一种面向力控机械臂的预测性交互误差 MPC,在仿真与实物 UR5e 上验证了其对持续负载的无偏跟踪能力。
论文针对传统哈密顿 - 雅可比(HJ)可达性需重求解的缺陷,提出一种条件化可达性模型。该方法通过限制障碍物影响范围使值函数具有局部性,仅需读取机体坐标系下的局部窗口即可训练并迁移至任意规模场景。
推荐理由:提出条件哈密顿 - 雅可比可达性方法,通过子解学习确保误差保守侧,实现毫秒级场景准备与极低碰撞率。
针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。
推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。
论文提出了 WinDEX 框架,整合了几何时序优化、视觉惯性 SLAM 及端到端鱼眼原生网络,构建了包含 1000 小时标注的 WinDEX-Hand 数据集。
推荐理由:提出 WinDEX 方法,结合几何优化与视觉惯性 SLAM 实现野外高精度手部重建,数据集支持强化学习与遥操作。
GRAZE 是一种从人类注视而非物体名称或部位名称中生成手 - 物抓取运动的方法。该方法通过几何感知注视编码将注视射线映射为物体几何线索,并利用交叉注意力条件化扩散 Transformer。
推荐理由:GRAZE 方法利用人类注视生成未见物体的抓取动作,在无需微调的情况下实现了优于文本基线的抓取成功率与泛化能力。
针对图像无法表征接触力的问题,ForceHarness 提出一种无需演示或微调的框架,通过自终止力原语闭环控制并翻译力迹为带不确定性的物理量。在真实机械臂上,该方法将 GPT-6 Astra 的零样本成功率从 3.3% 提升至 90.0%,并在仿真基准中超越基于演示的策略及手写专家控制器。作者还构建了 HiddenPhys 七任务 MuJoCo 基准以评估隐藏物理变量下的性能。
推荐理由:ForceHarness 让冻结模型无需微调即可利用力控提升零样本成功率,HiddenPhys 基准验证了其在隐藏物理变量任务上的表现。
论文提出了 MetricHand,这是一个针对度量世界空间中 4D 手部重建的几何感知流匹配框架。该方法将手 - 物体交互区域的深度先验编码到关节关联表示中,结合视觉特征引导粗粒度度量估计并条件化时间生成步骤。
推荐理由:该工作提出几何感知的流匹配框架,在度量世界空间重建手部运动,显著降低相机与绝对空间的误差。
针对现有系统仅能实现有限唇部运动或脚本化表情的局限,本文提出 ROSE 框架,整合仿生硬件与跨具身运动表示学习。硬件上构建集成 34 个执行器的 19.5 cm 仿生头部结构;算法上利用 ROSE-VAE 从人、数字人和机器人观测中学习身份无关的共享面部运动隐空间,ROSE-Flow 直接将文本或音频映射为运动轨迹,ROSE-ACT 将其转换为受约束的执行器指令。
推荐理由:提出 ROSE 框架,通过解耦执行器布局与面部动作点实现紧凑头部全脸表达,并构建跨模态运动生成管线。
针对 GelSight、DIGIT 等光学触觉传感器因成像几何和背景差异导致观测不一致的问题,论文提出 TacBridge 框架。该框架利用跨传感器掩码预训练学习时空表征,并在同传感器与跨传感器重建任务上联合训练,实验证明了其跨传感器泛化性与下游感知任务的迁移能力。
推荐理由:提出 TacBridge 框架,通过跨传感器掩码预训练学习统一触觉表征,验证了多传感器间的泛化与任务迁移能力。
论文提出了 AsymEEF 框架,旨在解决跨不同运动学特性的末端执行器收集演示数据成本高且难以复用的问题。该框架通过共享编码器将手腕姿态映射到形态无关的隐空间,利用运动学教师锚点和稀疏真实世界校准点提供几何监督与误差修正,实现了从少量源数据集向两指、三指及五指等多种组合的迁移,无需额外遥操作即可生成可执行的轨迹。
推荐理由:该框架实现了双机械臂在不同末端执行器间的演示迁移,无需额外遥操作即可在仿真与真实机器人上提升任务成功率。
论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。
推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。
该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。
推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。