DexTeleop-0:面向共享自主的双手灵巧遥操作触觉驱动自适应策略
针对细粒度双手灵巧操作中的运动学映射误差与视觉跟踪无法调节接触力的问题,提出触觉驱动的自适应策略并实例化为 DexTeleop-0 框架。该系统引入实时优化循环,利用指尖反馈在机器人侧添加接触修正,结合接触刚度近似与运动学雅可比矩阵计算局部化修正,实现每接触点向量力跟踪、软预测接触矩正则化及有界手关节残差。
针对细粒度双手灵巧操作中的运动学映射误差与视觉跟踪无法调节接触力的问题,提出触觉驱动的自适应策略并实例化为 DexTeleop-0 框架。该系统引入实时优化循环,利用指尖反馈在机器人侧添加接触修正,结合接触刚度近似与运动学雅可比矩阵计算局部化修正,实现每接触点向量力跟踪、软预测接触矩正则化及有界手关节残差。
RiskFlow 提出了一种将未来行为生成为动作空间一步流传输的闭环框架,通过基于碰撞时间的关键智能体排序与对抗性交互目标直接修正输出动作。在 nuScenes 数据集上的闭环评估显示,该方法在多智能体和长视界设置下实现了强对抗性与真实性的平衡,相比基线模型在保持安全生成能力的同时显著降低了推理时间并消除了运动伪影。
论文介绍 RigidFormer,一种面向物体的 Transformer 模型,用于从点云等无网格表示中学习高保真刚体动力学。该方法通过锚点顶点池化保留接触相关几何信息,利用基于锚点的旋转位置编码处理无序物体布局,并通过可微 Kabsch 对齐强制刚性约束。
针对端到端图像导航策略训练困难且存在仿真到现实鸿沟的问题,本文提出 Visual Learned Distance (VLD) 框架。该方法在大规模互联网及仿真视频上预训练自监督的距离预测器,并在仿真中利用 GeoNoise 噪声模型训练强化学习策略。
论文介绍了一种名为 Augmentron 的几何感知数据增强流水线,旨在解决现有生成式方法计算成本高及跨相机时间戳不一致的问题。该方法通过生成可复用的场景表示并渲染至录制相机位姿,在保持机器人、任务对象、动作和标注不变的前提下,产生时间和多视角一致的环境与工作空间变化。
论文提出了 Seeing What Matters 基准,用于评估机器人是否具备根据当前指令获取特定观测证据以支持操作的能力。该基准涵盖咖啡机、抽屉柜和微波炉三个仿真桌面操作领域,提供 860 个冻结评估案例及超过 11.5 万个评测集。
该论文对比研究了两种独立开发的基于事件相机的 6-DoF 航天器姿态估计方法。第一种采用结合关键点检测和无标签域适应的模块化流程,第二种则直接从全局和裁剪的事件表示中回归平移与旋转。
该研究将相机布设转化为序列决策问题,训练强化智能体控制六自由度机械臂在水洞中定位并解析水翼尾流。经零样本迁移至真实环境后,该方法以约一半全扫描时间和更少图像对,实现了比固定视角更高分辨率且误差更低的速度场重构。
该论文提出了 Video2Asset 框架,旨在将多视角视频转化为可独立编辑的持续更新场景。核心挑战在于如何在运动与遮挡下累积部分且不完整的观测而不破坏物体身份或混淆证据。
针对传统点级指标在复杂地形评估中的保守性问题,本文提出执行接地可通行性(EGT)方法,利用潜在空间流匹配模型预测闭环轨迹分布以评估车辆 - 控制器对在未知地形的执行概率。实验显示该方法将安全路径误拒率降至 2.2%,不安全接受率为 7.7%,并集成于采样规划器后显著降低导航失败率与到达时间延迟。研究展示了从仿真到现实户外环境的零样本迁移能力,相关代码与数据将在 arXiv 发布。
论文提出 SUGARv2 统一框架,通过复用任务模板合成协调的机器人与物体运动以低成本获取多样参考,并利用基于参考的模仿作为跨任务的共同学习目标。研究先在特权教师上执行这些参考,再通过教师蒸馏和强化学习训练视觉策略,结合域随机化支持泛化与仿真到现实迁移。在五个具身智能操作任务中,该框架在仿真环境达到 91.0% 平均成功率,并在真实人形机器人上验证了全身操作的 sim-to-real 转移效果。
该研究通过涵盖九个操作任务、631 种实验配置及 2.8 万次代码智能体轮次的受控仿真,系统分析了模型能力、技能先验等因素对具身智能自学习循环的影响。实验表明,瓶颈常在于将信息转化为正确的策略更新,成功取决于智能体归因失败、推理空间几何结构及重构代码的能力。
RevoSim 是一个可扩展且高保真的多模态触觉模拟器,专为 BrainCo Revo3 手设计,联合建模了 285 个压阻式传感单元和五个视觉 - 触觉指尖。该系统能高效生成同步的压力、深度、RGB 及标记位移观测数据;在单张 RTX 5090 显卡上,其基于深度的标记位移配置支持高达 4,096 个并行环境。作者利用该平台完全在仿真中训练了手内操作和抓取策略,为未来的仿真到现实迁移奠定了基础。
STRIDE 是一种针对人形机器人的强化学习算法,旨在解决传统方法依赖外部动捕或高精度状态估计器的问题。该方法通过让机器人跟踪指令加速度而非基座速度来设计奖励函数,并结合 XQC 离线强化学习算法、高增益关节位置控制器及左右对称性增强技术。
该论文提出了 VICTR 框架,旨在解决机器人基础模型在未见任务中仅凭视觉相似性进行上下文检索的局限性。研究引入了一种基于参考演示、语言指令和当前观测的“进度感知”上下文检索机制,通过估计任务相对进度来对齐当前状态与已演示的执行阶段。
推荐理由:针对 VLA 模型在未见任务中上下文检索效果受限的问题,提出基于进度感知的价值函数估计框架,显著提升了真实世界操作任务的成功率与进展率。
论文提出了 ForPC 框架,旨在解决人形机器人在不修改工作场所的情况下操作现有手推车以搬运重物的难题。该框架通过两阶段强化学习调节车速,首先训练运动先验以提供平衡支持,随后基于车载观测推断力潜变量和状态潜变量(无需外部传感器),并协调手臂、腰部与腿部的调整及基座速度指令。
推荐理由:提出无需外部力传感器的全身控制框架,在仿真中训练即可将人形机器人推重达 30kg 的推车速度误差降低 68.2%。
该研究通过微调预训练 V-JEPA1 预测器,在冻结编码器的条件下实现了无需动作的因果预测。在 CARLA Town12 场景中,模型以单前向传播检索未来 8 组 token(对应 16 帧),正确率高达 69.0%,优于 55.3% 的持续性基线及参数量少六倍的从头训练模型。语义分析显示固定线性探针在发生语义变化的图像块上达到 0.16 mIoU,证实了预测特征包含驾驶相关信息。
针对场端部署的策略需满足演示中未包含的新约束(如避障)问题,现有梯度引导或纯投影/拒绝方法存在效率或合理性缺陷。本文提出 CS-Pi 采样器,利用流匹配采样结合投影与重噪声机制,在保持动作合理性的同时高效满足安全约束。实验显示该方法在货架抓取任务上安全成功率达 81%,硬件部署达 55%,优于对比基线。
针对真实世界机器人部署中人类反馈稀缺且昂贵的问题,本文分析了真实人类干预数据,发现人类常在任务停滞时介入且动作次优。为此提出 Q-OIL 方法,通过在强化学习奖励中加入基于进度的乐观奖励并引导探索至人类修正点来提升学习效率。实验表明该方法在仿真和真机环境中均比基线提升 10-50% 的成功率,并能改进预训练视觉语言动作模型的双手操作任务表现。
近日,苹果正式发布了HALO(Humanoid Autonomy, Learned in simulation, running Onboard),这是一套由数据管线驱动的人形机器人全身运动控制系统。
针对依赖昂贵且多样性有限的真实配对数据集的去阴影问题,本文提出了 OD D 基线及 ODDR 框架。该方法利用合成阴影数据进行单步重建,并引入首个无需人工标注的 ShadowReward 奖励模型,通过模拟人类感知判断来引导微调,从而有效缩小合成到真实的域差距。实验表明,ODD 在无配对监督下表现强劲,而 ODDR 在保持高计算效率的同时,进一步缩小了与全监督方法的性能差距。
FLASH 是一种针对工业异常检测的合成异常生成框架,旨在解决真实缺陷稀缺时的数据扩充问题。该框架采用‘一次生成、多次合成’范式,仅利用正常图像和视觉语言模型(VLM)指导生成少量缺陷图并建立可复用补丁库。
该论文提出 ReFlowSET 框架,旨在从合成孔径雷达(SAR)观测生成光电(EO)影像。针对现有方法依赖预训练自然图像编码器的局限,该方法通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练较小的条件 DiT。
推荐理由:提出 ReFlowSET 框架,通过联合 SAR-EO 重构审计选择编码器,并在选定潜在空间从头训练条件 DiT,实现 SAR 到 EO 图像翻译的最先进性能。
该论文提出了 CityRAG 模型,旨在解决生成三维一致且可导航的、对真实地点进行空间锚定的环境模拟问题。现有视频生成模型虽能根据文本或图像提示生成合理序列,但缺乏在任意天气条件和动态物体配置下重建现实世界的能力。
VTAM 是一种针对接触丰富操作的视觉 - 触觉世界动作模型,无需触觉或动作预训练即可工作。该模型共享冻结的视频 VAE 和预训练视频 Transformer 权重,先适配以联合预测未来视觉与触觉潜变量,再端到端微调以预测动作、本体状态及基于触觉光流计算的轻量力流代理。
MOO 是一个包含 12.8 万张标注图像的大规模合成 AG-ReID 数据集,涵盖 1000 头牛只在 128 个均匀采样视角下的数据。研究量化了高度影响并发现关键阈值,证明合成几何先验能有效缩小域差距。该数据集在零样本和监督设置下验证了对四个真实世界牛只数据集的迁移性,现已公开可用。
针对生成式模型产生的机器人数据存在动作标签噪声问题,论文提出 RoboCurate 框架,通过逆动力学模型在仿真器中执行预测动作并测量与生成视频的运动一致性来验证动作。
论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。
推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。
论文 LSD-3D 提出一种直接生成大规模 3D 驾驶场景的方法,旨在弥合神经重建与扩散模型在几何约束上的差距。该方法结合代理几何与环境表示的生成及从学习到的 2D 图像先验进行的分数蒸馏,实现了高可控性、提示引导的几何控制以及基于地图布局的高保真纹理和结构条件化,能够产生具有物体恒常性和显式 3D 几何估计的真实且几何一致的复杂驾驶场景。
针对自动驾驶领域需重新训练才能适配新驾驶目标的限制,本文提出 GuidedWAM 框架,在采样阶段通过可微分能量机制向冻结的世界动作模型注入新的驾驶目标。该方法利用采样时的引导调度、每能量归一化及速度有界修正来稳定生成过程。
MOMASPLAT 通过结合 3D Gaussian Splatting、前馈 3D 基础模型与基于运动学的动作重定向,解决了移动操作中因导航不确定性导致基座位姿变化而引发的视觉 - 运动策略失效问题。
VisionSIM 是一个统一的、基于物理的多模态仿真平台,旨在解决现有仿真器对新兴传感器(如事件相机、SPAD、iToF/dToF 和热成像)过度理想化的问题。
USB Gym 是一个基于公开患者 CT 构建的超声图像匹配测试床,其标准引擎利用网络从 CT 标签绘制器官纹理以模拟超声。该测试床包含可替换的三个部分(器官分割器、控制器和奖励函数),在六个预留患者的 60 个回合中评估了 20 种已发表方法,最终确定仅使用图像相似度奖励(SSIM)的组合作为基准线。
针对毫米波雷达数据集匮乏及仿真到现实差距问题,研究提出基于物理的可微渲染器 4D Point Splatting(4DPS),利用同步相机初始化场景并输出原始复数回波以适配下游模型。
作者提出交互式视觉健身房框架,旨在对支持持续物理任务的视觉交互模型进行闭环评估与训练。该框架联合仿真可执行任务环境与人类用户,贡献了烹饪、家庭操作和移动界面领域的三个模拟器及人物条件化用户模拟工具,并包含 315 个交互场景的基准测试。
针对高阶教育中 ROS 配置门槛高的问题,该研究提出一种自定义 Python 库,实现从仿真到物理 TurtleBot3 Burger 的直接控制器迁移。该库镜像 Webots API,提供电机、编码器及 LiDAR 等传感器访问接口,并附带自动化部署脚本。在自动驾驶入门硕士课程的应用中,该方法降低了 ROS 基础设施复杂度,帮助学生聚焦算法逻辑与真实行为。
论文介绍 TactileLab 框架,利用刚体仿真结合光流法估计接触界面的切向运动以编码剪切动力学,替代昂贵的软体物理模拟。研究提出新的策略架构处理长程本体感觉与丰富触觉观测,并开发实真翻译方法将真实触觉图像映射为仿真场。在双臂及手内操作任务中验证了该方法支持大规模强化学习训练及仿真实到现实的部署能力。
推荐理由:提出基于光流的触觉流场表示与实真翻译方法,在双臂及手内操作中验证了大规模强化学习策略的仿真实用性。
PhySA 通过分离美学评分与物理惩罚通道,在 MuJoCo Humanoid-v5 仿真环境中将关节加速度降低 26% 至 32%,但导致单集时长缩短。该方法未迁移至 IsaacLab 或 Unitree G1 平台,且部分实验结果无统计显著性。论文已接受 CoRL 2026 Workshop on R2RL,代码与数据待注册。
G-Maneuver 学习型控制器在特技级机动任务中达到 90.11% 成功率,通过 Sim2Real2Sim 闭环筛选出真实车辆试验安全区域,接受率为 16.9%。研究利用汽车安全分析框架识别覆盖测试参数,证实航向变化、侧滑和归一化偏航率等运动学指标在仿真与现实间匹配良好,为安全部署提供依据。
针对高维构型和非线性接触动力学带来的挑战,该工作研究了平面抓取下变形线性物体的强化学习方法,重点评估训练效率、观察设计、鲁棒性及零样本仿真到现实迁移能力。实验对比了三种近端策略优化(PPO)训练栈,发现 GPU-并行 MuJoCo Playground 栈在相同时间预算下收敛更快且性能更稳定;引入相对关键点观测和不对称演员 - 评论家架构进一步提升了效率。