Ropedia W0:跨越不同具身形态的自中心运动操作世界模型规模化研究
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。
推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。
CoopUQ 框架利用跨机器人时空特征融合进行 occupancy grid map 预测,并通过约束多智能体强化学习引导策略以规避高不确定区域。在 Unity3D 仿真及真实机器人实验中,该方法在分布内与 OOD 场景下均展现出优于基线的预测性能与安全鲁棒性。代码与视频已公开。
本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。
推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。
GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。
推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。
论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。
推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。
该研究在 Harpy 硬件上实现了基于二次规划的控制器,能以 500 Hz 频率同时调节地面接触力与主动推力矢量。实验显示,机器人在 0 m/s 和 0.1 m/s 参考速度下均能追踪均值,关节跟踪误差小于 1 度且求解耗时仅 0.18ms。该成果将发表于 IEEE/RSJ IROS 2026,代码与论文预印本已公开。
作者介绍 HandsOn,这是一个可组合的仿真平台与基准,旨在支持跨具身的通用灵巧操作。该平台支持五种机械臂、六种灵巧手以及约 200 个刚体、连杆和变形资产在随机化场景中的应用。
论文介绍 DexOAK,这是一个基于学习的物体感知运动重定向框架,旨在从人类动作捕捉数据生成与物体接触一致的机器人手部参考。该方法首先最小化手 - 物体交互图的拉普拉斯目标以复现相对几何关系,随后利用前馈网络学习重定向函数,并通过接触、非穿透和自碰撞损失进行微调。
论文提出了 Unisense 框架,旨在解决具身智能系统中多模态感知受限的问题。该框架通过两阶段训练过程,首先对齐感官表征与语言以建立接口,随后在共享架构内微调特定模态专家。
现有机器人价值模型评估仅覆盖部分执行理解方面,反馈可靠性不足。本文提出 RoboValue 基准,通过共享接口从任务状态理解、时间进度监控、故障恢复推理及价值一致性四个维度进行统一评估。
针对通用视觉语言动作策略难以适应人形机器人高维全身运动控制的挑战,本文提出 HAF-VLA 分层动作流框架。该方法基于预训练流匹配 VLA,通过可学习阶段嵌入和跨阶段 KV-cache 条件机制,将动作生成分解为移动与头部指令、腰部细化及全身操作三个渐进去噪阶段。实验在六个真实世界任务上验证了该框架能显著提升现有模型在人形机器人运动操作任务中的性能。
针对灵巧操作中人手 - 物体交互标注稀缺及现有方法存在背侧误分类、精度不足等问题,作者提出 DenseHap 统一端到端框架。该方法通过三个独立定义的头部,结合预训练三维重建骨架与增强数据集,从单目图像同时实现手距离场识别、全面接触检测、压力分析及手部重建。
推荐理由:该工作提出统一框架,从单目图像同时估计手距离场、接触检测与压力分析,在四个数据集上显著优于现有模型。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
针对四足轮腿机器人中轮式运动预测不可靠及接触状态无法跨方向判定可靠性的问题,提出紧耦合 LiDAR-惯性 - 运动学里程计框架。该方法保留解析滚动预测,利用本体感知历史学习每轮、各方向的进程协方差,并通过退化感知投影抑制几何弱方向上的 LiDAR 约束。
一项针对上肢外骨骼的研究系统比较了五种控制算法在人体闭环环境下的表现。实验由 14 名健康参与者完成,任务为在 0kg 和 2kg 负载下进行目标抓取。结果显示,比例控制(PMC)存在体力消耗与任务性能之间的权衡;纯积分自适应重力补偿(AGC-PI)虽降低了主动肌活动但引发了拮抗肌激活。
作者提出 ForagerSim 这一跨学科研究平台,专注于需要地图推理的具身任务,涵盖从搜救到觅食的多种场景。该平台支持感知、规模、拓扑、动力学和任务等维度的独立调节,并在八个示例世界中对比了强化学习基线、工程化机器人栈与人类玩家的表现。
RoboPhoto-VLA 提出统一框架,联合感知、推理与相机控制实现自主机器人摄影。该系统引入 PhotoCoT 进行结构化规划及 ADPO 对齐审美偏好,并构建 OpenPhotography 数据集支持训练评估。真实实验表明其在未见主体、视角及复杂指令下均能生成符合人类审美的照片。
论文提出了 FocusGUI,这是一种针对全模态 GUI 智能体的轻量级适配器,旨在解决因统一暴露所有上下文导致的序列分心问题。该方法通过动态优先处理多模态通道并将关键证据压缩注入冻结解码器的嵌入中,引导模型注意力而不改变其原生参数空间。
该研究针对人形机器人模仿学习需大量数据的问题,提出利用 Kinect 关节估计、提示词目标检测及深度信息提取特征的框架。在 NAO 机器人仿真测试中,抓取放置任务仅需 16 次演示即达 78% 成功率(100 次增至 86%),推杆任务用 8 次演示达成 71% 成功率。该工作已在物理硬件上完成演示验证,论文发表于 IEEE ISAIA 2026。
针对人形机器人手臂技能复用难题,论文提出HS-MoDP模型,利用共享专家池和语义调度器实现多臂技能组合与位置迁移。开发G1Exo外骨骼提供关节级直接控制,相比末端VR-IK遥操更可靠,使整机柜工作流成功率从35%提升至65%,并在四种策略架构上提升接触技能学习效果。项目硬件设计与源代码将在评审后开源。
本文介绍了一种针对水下结构的完整 GPU 驻留多机器人三维检测流水线。给定三角网格和携带短距窄视场相机的 K 个机器人,该流程计算六自由度轨迹以覆盖目标表面比例并最小化总成本。
推荐理由:作者提出了一套完整的 GPU 驻留多机器人水下结构三维检测流程,包含可见性计算与路径规划等核心模块的 CUDA 实现。
该研究识别出技能增强语言模型代理中的程序性暴露偏差(PEB),即模型倾向于过度依赖重复出现的动作模式。实验表明,将相同内容以视觉形式呈现能显著减弱这种由文本暴露引起的偏好偏移,且该效应延伸至可执行动作选择与任务成功率评估中。
该论文针对双类人机器人协作中因形态差异导致的接触界面破坏及技能多样性下的控制保真度下降问题,提出 OmniInteract 框架。通过表面感知重定向技术利用人体与机器人表面的密集对应关系保留交互几何上下文;采用可扩展基于流的交互策略,将全身运动先验与伙伴感知的残差修正解耦,在共享残差动作空间统一两者。
推荐理由:提出表面感知重定向与可扩展流策略,解决双机器人交互中的形态差异与控制保真度难题。
该研究针对旋转变量机器人关节的圆形状态空间特性,提出了一种完全基于脉冲神经网络的控制系统。系统利用环吸引子编码关节状态以匹配拓扑结构,通过稳态调节计算目标偏差,并利用对侧增益调制将偏差转化为活动斑点的相位移动以实现设定点控制。
FR-VLA 是一种集成力感知能力的视觉语言动作模型,旨在解决现有模型固定注入力信号而缺乏对当前任务相关性的显式判定问题。该模型利用视觉语言上下文估计物理反馈的相关性,生成力准入信号以调节外部令牌化力路径的动作生成过程。
论文提出了 SkateNav 统一框架,利用时间预算目标联合学习转向、推进及其时序分配,并通过频率调制适应导航需求。仿真实验显示其成功率更高且运输成本更低;真实世界实验在杂乱室内、斜坡及户外路面上实现了从仿真到被动轮 Mini Cheetah 的零样本迁移。
论文针对 VLA 模型执行效率低的问题,提出 PaceVLA 框架,利用共享动作专家构建多粒度解码器,并通过可量化性引导的模式选择与上下文路由机制,在仿真基准和真实世界任务中实现高效且可靠的灵巧操作。
推荐理由:提出 PaceVLA 框架,通过自适应时间量化在保持任务成功率的同时提升 VLA 模型执行效率。
该论文提出了一种利用自主编码智能体直接在代码空间进行策略搜索的新范式,结合了自动化优化与可解释性。研究通过两个案例验证了该方法的有效性:在 2024 年机器人竞速联赛的复杂地图中。
推荐理由:原文展示了由代码智能体驱动的搜索工作流,在两个复杂多智能体场景中均超越了人工设计与专有方案。
论文提出 CondenseVLA,一种具备可学习解码端历史压缩模块的多帧 VLA 策略,旨在解决单纯扩大时间窗口带来的计算冗余与采样僵化问题。该方法利用 VLM 骨干网络缓存的每帧特征,通过可学习查询和多头交叉注意力将观测历史蒸馏为固定数量的 slot token,并辅以正则化项抑制槽位重叠与相关性。
推荐理由:该工作提出可学习的历史压缩模块,在保持计算效率的同时提升多帧视觉上下文对动作解码的利用效果。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
论文提出了 OV-PEAR 框架,用于解决未知工业物体的 6D 位姿、尺度及操作就绪 3D 模型构建问题。该框架通过三阶段流程实现物体分割、外观感知视图检索与显式尺度搜索,并将多视角 RGB-D 证据反投影至物体规范坐标系以验证体素占用率,从而抑制幻觉并生成可信模型。
推荐理由:针对未知工业物体,提出基于多视角观测验证的位姿尺度估计与重建框架,在真实机器人装配任务中实现高成功率。
针对动态物体操作需要预测目标运动并快速重规划的挑战,本文提出了 TrajWAM 模型。该方法将未来的视觉想象显式地锚定在预测的目标 - 对象运动上,利用历史对象掩码生成编码目标轨迹的未来表示,并通过轻量级轨迹 ControlNet 引导预训练视频模型生成一致的未来表征,进而条件化动作专家以预测可执行的动作片段。
论文介绍集体经验学习(CEL)范式,通过失败引导的经验检索微调(FERT),利用部署机器人的执行失败上下文从车队共享的成功经验中检索相关轨迹片段作为监督信号更新策略,无需额外收集专家演示或修正动作。
推荐理由:提出利用车队失败案例检索成功轨迹进行策略更新的集体经验学习范式,在 96 台机器人上实现多任务成功率显著提升。
论文提出 SWAP 分层框架,将感知条件扩散模型用于生成多模态避障运动提议,低层强化学习控制器负责跟踪与平衡维持。利用回溯标注技术通过随机化命令和障碍布置实现高效监督,部署时采用蒙特卡洛采样引导模型向安全行为对齐。在仿真及宇树 G1 真机实验中,该方法在静态与动态障碍物下均表现可靠,测试时引导使特定奖励提升约 34% 同时保持高避障率。
该方法利用水平与垂直车速量化多旋翼无人机各次风速观测的可靠性,并据此自适应调整二维向量估计器的测量影响。实验涵盖水平平移、垂直运动及自主航点飞行,结果显示 ROC-AUC 达 0.995,98.84% 的平移观测被识别为不可靠。车辆状态感知有效调节了直接空载风观测的影响权重,提升了多旋翼大气测量的可靠性。
该研究指出当前评估指标可能掩盖物理不可行动作,引入 Visual-Semantic Traversability Alignment (VeSTA) 框架以对齐语义能力与具身实现。通过轨迹相对组策略优化和可通行风险批评机制,在 R2R 和 RxR 数据集上减少碰撞失败并保留导航性能;真实机器人实验表明学习到的偏好能迁移到仿真之外。
论文提出了 InteractAgent,这是一个用于长程人机场景交互的多模态大模型系统。该系统采用单一大模型同时担任规划者与评估者,并冻结一个运动大模型作为执行器,形成闭环控制架构。
推荐理由:该文提出 InteractAgent,利用冻结运动大模型与多模态大模型构建闭环规划执行反射机制,在 UniHSI 基准上验证了长程交互任务的成功率提升。
该研究开发并集成了一个额外的机械臂到 humanoid 平台上,旨在解决双臂被占用或需要额外接触时的行动限制。通过定量分析和硬件实验,展示了额外肢体如何扩展全身交互能力。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。