Ropedia W0:跨越不同具身形态的自中心运动操作世界模型规模化研究
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。
推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。
GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。
推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。
该研究在 Harpy 硬件上实现了基于二次规划的控制器,能以 500 Hz 频率同时调节地面接触力与主动推力矢量。实验显示,机器人在 0 m/s 和 0.1 m/s 参考速度下均能追踪均值,关节跟踪误差小于 1 度且求解耗时仅 0.18ms。该成果将发表于 IEEE/RSJ IROS 2026,代码与论文预印本已公开。
作者介绍 HandsOn,这是一个可组合的仿真平台与基准,旨在支持跨具身的通用灵巧操作。该平台支持五种机械臂、六种灵巧手以及约 200 个刚体、连杆和变形资产在随机化场景中的应用。
论文介绍 DexOAK,这是一个基于学习的物体感知运动重定向框架,旨在从人类动作捕捉数据生成与物体接触一致的机器人手部参考。该方法首先最小化手 - 物体交互图的拉普拉斯目标以复现相对几何关系,随后利用前馈网络学习重定向函数,并通过接触、非穿透和自碰撞损失进行微调。
该研究通过强化学习框架,在 LEAP Hand 双手型上验证了触觉反馈对持续手内旋转的增益。仿真显示全触觉观测使类人手指布局每集平均归一化旋转提升 94.8%,对称布局提升 66.9%;硬件实验证实对称布局平均旋转次数高出 32.0% 且指尖总载荷降低 19.9%。结果表明更丰富的触觉信息能在更低平均负载下支持更大任务进度。
针对农业环境中植物几何变化、遮挡及视角差异带来的操作挑战,本文提出一种基于 MuJoCo 的仿真到现实(sim-to-real)机器人学习框架。研究构建了包含多样化番茄植株结构的仿真环境,通过摇杆遥操作收集专家演示数据,并利用低层控制器执行动作。
该研究开发了一种分层仿生机器人皮肤,将类受体传感器嵌入顺应性软介质中,以模拟人类皮肤的组织特征。平台实现了生物启发式和反事实的两种触觉受体排列方案,并在弱接触检测、两点辨别和纹理识别三项被动触觉任务上进行了定量评估。
研究人员开发了一种基于不确定性感知的算子学习代理,利用浅层神经网络从力学感知坐标中学习非平稳高斯过程核度量。该方法在 SO(3) 上直接重建方向并保留材料框架与肌腱几何,相比先前的神经算子模型准确度高出 30-50%,且仅需约 5 倍更少的训练设计。实验显示,基于核覆盖的采集策略将平均轨迹误差降低了约 15%。
针对通用视觉语言动作策略难以适应人形机器人高维全身运动控制的挑战,本文提出 HAF-VLA 分层动作流框架。该方法基于预训练流匹配 VLA,通过可学习阶段嵌入和跨阶段 KV-cache 条件机制,将动作生成分解为移动与头部指令、腰部细化及全身操作三个渐进去噪阶段。实验在六个真实世界任务上验证了该框架能显著提升现有模型在人形机器人运动操作任务中的性能。
针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。
推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。
该论文针对双臂演示中存在的虚假时间调度耦合问题,提出了约束保持时序重组(CTR)训练干预方法。该方法在保留记录的手臂局部传感运动内容同时,对对应片段进行重定时以实现可接受的调度方案并维持任务所需的跨臂约束。
推荐理由:提出 CTR 训练干预方法,在双臂模仿学习中消除虚假耦合,显著提升真实机器人任务成功率。
为降低视觉语言动作模型在机器人端的推理成本,该方法对大语言模型骨干网络的隐藏层和前馈中间维度进行感知剪枝,随后利用强化学习恢复操作策略性能。实验基于π0.5模型,将语言骨干参数从23.4亿降至9000万、全模型从33.7亿降至11.2亿,移除约96%和67%的参数。在LIBERO基准测试中,压缩后模型的四个套件平均成功率由84.55%提升至93.45%,推理速度提升1.98倍。
该论文提出 ALIGN 框架,旨在解决混合质量机器人数据中成功、重试与失败共存的问题。该方法直接预测类别化对偶条件并注入 DiT 动作专家,在 ARX X5 碗堆叠和 Franka 钥匙悬挂任务上,分别实现了 90.0% 和 56.7% 的闭环成功率,优于最强基线。材料为预印本论文,未提及开源代码或模型权重下载。
一项针对上肢外骨骼的研究系统比较了五种控制算法在人体闭环环境下的表现。实验由 14 名健康参与者完成,任务为在 0kg 和 2kg 负载下进行目标抓取。结果显示,比例控制(PMC)存在体力消耗与任务性能之间的权衡;纯积分自适应重力补偿(AGC-PI)虽降低了主动肌活动但引发了拮抗肌激活。
论文提出了 RoboMMT(Robot Modulated Motion Tracking),这是一种将参数化富表达运动合成、基于物理的角色控制与对空间交互目标的反应式适应耦合在一起的模块化控制架构。
RoboPhoto-VLA 提出统一框架,联合感知、推理与相机控制实现自主机器人摄影。该系统引入 PhotoCoT 进行结构化规划及 ADPO 对齐审美偏好,并构建 OpenPhotography 数据集支持训练评估。真实实验表明其在未见主体、视角及复杂指令下均能生成符合人类审美的照片。
该研究针对人形机器人模仿学习需大量数据的问题,提出利用 Kinect 关节估计、提示词目标检测及深度信息提取特征的框架。在 NAO 机器人仿真测试中,抓取放置任务仅需 16 次演示即达 78% 成功率(100 次增至 86%),推杆任务用 8 次演示达成 71% 成功率。该工作已在物理硬件上完成演示验证,论文发表于 IEEE ISAIA 2026。
针对人形机器人手臂技能复用难题,论文提出HS-MoDP模型,利用共享专家池和语义调度器实现多臂技能组合与位置迁移。开发G1Exo外骨骼提供关节级直接控制,相比末端VR-IK遥操更可靠,使整机柜工作流成功率从35%提升至65%,并在四种策略架构上提升接触技能学习效果。项目硬件设计与源代码将在评审后开源。
该论文针对双类人机器人协作中因形态差异导致的接触界面破坏及技能多样性下的控制保真度下降问题,提出 OmniInteract 框架。通过表面感知重定向技术利用人体与机器人表面的密集对应关系保留交互几何上下文;采用可扩展基于流的交互策略,将全身运动先验与伙伴感知的残差修正解耦,在共享残差动作空间统一两者。
推荐理由:提出表面感知重定向与可扩展流策略,解决双机器人交互中的形态差异与控制保真度难题。
FR-VLA 是一种集成力感知能力的视觉语言动作模型,旨在解决现有模型固定注入力信号而缺乏对当前任务相关性的显式判定问题。该模型利用视觉语言上下文估计物理反馈的相关性,生成力准入信号以调节外部令牌化力路径的动作生成过程。
论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。
推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
论文提出 DISCO(Distilled Tree Search over Continuous Actions),旨在解决长视界操作任务中策略需避免误差累积并保持未来可行性的难题。
针对动态物体操作需要预测目标运动并快速重规划的挑战,本文提出了 TrajWAM 模型。该方法将未来的视觉想象显式地锚定在预测的目标 - 对象运动上,利用历史对象掩码生成编码目标轨迹的未来表示,并通过轻量级轨迹 ControlNet 引导预训练视频模型生成一致的未来表征,进而条件化动作专家以预测可执行的动作片段。
论文提出 SWAP 分层框架,将感知条件扩散模型用于生成多模态避障运动提议,低层强化学习控制器负责跟踪与平衡维持。利用回溯标注技术通过随机化命令和障碍布置实现高效监督,部署时采用蒙特卡洛采样引导模型向安全行为对齐。在仿真及宇树 G1 真机实验中,该方法在静态与动态障碍物下均表现可靠,测试时引导使特定奖励提升约 34% 同时保持高避障率。
论文提出 ReDOA 框架,旨在解决通用机器人操作中数据采集成本与现实环境适应性的权衡问题。该方法将控制学习与感知学习解耦,在仿真中训练的状态基教师策略于真实机器人上执行,利用收集到的轨迹将其控制知识蒸馏为图像基学生策略。
该研究开发并集成了一个额外的机械臂到 humanoid 平台上,旨在解决双臂被占用或需要额外接触时的行动限制。通过定量分析和硬件实验,展示了额外肢体如何扩展全身交互能力。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
这是一篇关于自适应弯折点形成机制的预印本论文,受章鱼高适应性软体启发的研究聚焦于通过沿手臂动态改变锚定端点来调整肌腱驱动臂的曲率。研究在手臂中集成了一组充气外壳,充气可增加该位置的摩擦力并锁定肌腱,从而创建临时的新锚定点。
BiDex-100 是一个针对双手灵巧操作的仿真基准,涵盖泛化、指令遵循、有限演示、长视界和记忆五个能力轴上的 106 项任务。每项任务均配有视觉与空间变化的域外变体以评估鲁棒性。该基准支持两种具身形态,提供 8,080 次经验证的遥操作演示(共 625 万帧),并依据统一协议对七种近期视觉语言动作模型进行了能力、鲁棒性与数据效率的基线评估。
arXiv 发布论文 SurGPT,提出一种结合视觉编码器与 Transformer 架构的基础模型,旨在自动分析 da Vinci 机器人手术视频以进行技能评估和手势理解。
该论文针对杂乱场景中的灵巧操作挑战,构建了包含约 5 亿次抓取标注的基准数据集,涵盖八种灵巧手和约 5 万个物体。作者提出了 T(R,O) Grasp++ 框架,这是一个可扩展的基于扩散模型的方案,用于在复杂约束下进行跨本体灵巧抓取合成。
AeroDASH 提出一种异步 VLA 框架,通过 B-spline 策略初始化与执行感知 GRPO 优化,解决车载推理延迟导致的轨迹失配问题。在 UAV-Flow 测试集上,该模型成功率达 76.56%,分别比 OpenVLA-UAV 和去除了 GRPO 的基线高出 38.1 和 20.1 个百分点。实验表明其在保持运动的同时有效降低了加速度与加加速度波动,代码将在论文接收后开源。
arXiv 论文介绍了一种用于实际运动生成的注意力混合密度策略,该方法利用能量分数优化高斯混合参数以表征未来的视觉 - 运动轨迹分布,从而避免传统负对数似然方法的奇点与梯度不稳定问题。在八自由度机械臂实验中,该模型能生成明确的避障轨迹并稳定学习;在随机移动物体抓取任务中,其在未见条件下的性能优于扩散策略 15-25%,展现了在多模态和快速时序决策场景下的优越泛化性与实时可行性。
针对具身基础模型(EFMs)需要大量机器人数据预训练的问题,本文提出 TILDE 框架,结合学生诱导状态的在线蒸馏与教师执行恢复轨迹的学习。研究进一步开发了 AutoDAgger 自动化数据聚合管道,利用机器人奖励模型监控任务进度并触发教师干预,从而在无人类监控下收集恢复经验,相比人工闭环方法加速超两倍。该方法在三个真实世界任务上使性能提升最高达 4.1 倍,并支持跨架构蒸馏。
该研究首次系统性地评估了七种前沿多模态语言模型在物理硬件上直接控制机械臂执行六种 RoboDojo 基准任务的能力。结果显示,虽然当前模型能完成多种操作但精度与效率尚不足够,不过从 2026 年 7 月到 9 月期间性能翻倍时间为 44.5 天,最佳执行速率提升 4.4 倍且最低执行成本下降 6.2 倍。
该系统利用混合现实头显辅助操作员,在关键阶段仅需微调即可由机器人自主完成大部分轨迹。研究通过收集高精度双手“销钉插入孔”任务的演示数据并训练模仿学习策略,验证了其在降低数据采集负担方面的有效性。该方法旨在以更低的人力成本获取高质量数据,从而训练出完全自主的任务执行策略。
论文介绍 DreamCan,一种分层策略,通过稀疏视觉规划将视频模型落地于机器人操作。高层规划器从预训练视频模型适配而来,生成平衡可达性与任务效用的稀疏子目标;低层视觉运动策略负责执行。
推荐理由:DreamCan 利用预训练视频模型生成稀疏视觉子目标,在 LIBERO-Long 任务上达到 91.2% 成功率,并验证了其在真实双手机器人操作中的有效性。