RTPolicy:面向边缘设备的实时多视角机器人操作策略
针对闭环机器人操作中低推理延迟的关键需求,本文提出了 RTPolicy,这是一种结合视图感知特征融合与视觉压缩的多视角视觉运动策略。该策略通过流匹配动作生成器降低计算成本,在 RoboTwin~2.0 单任务清洁评估的 50 个任务中平均成功率为 52.26%,优于最强基线$ ext{\pi}_0$(46.4%)。
推荐理由:该文提出 RTPolicy,在边缘设备上实现实时多视角视觉运动策略,异步流式推理下双臂平台任务成功率达 72%。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
针对闭环机器人操作中低推理延迟的关键需求,本文提出了 RTPolicy,这是一种结合视图感知特征融合与视觉压缩的多视角视觉运动策略。该策略通过流匹配动作生成器降低计算成本,在 RoboTwin~2.0 单任务清洁评估的 50 个任务中平均成功率为 52.26%,优于最强基线$ ext{\pi}_0$(46.4%)。
推荐理由:该文提出 RTPolicy,在边缘设备上实现实时多视角视觉运动策略,异步流式推理下双臂平台任务成功率达 72%。
该论文提出 Hourglass 架构以解决跨具身运动规划难题,通过解耦通用的无本体世界模型与各机器人的可微本体动力学接口,实现数据池化与参数识别。在七种仿真机器人上,该方法成功率提升 3.8-10.6 个百分点且无需专用训练即可匹配专家策略;经三分钟遥操作标定后,零样本迁移至未见的真实滑移转向机器人并在室内场景导航成功。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
推荐理由:提出 Hourglass 架构,通过解耦通用世界模型与可微本体动力学实现跨机器人运动规划,在仿真中优于基线并支持零样本迁移至真实机器人。
论文 TinyAstral 提出一种两阶段方法,通过递归自我改进(RSI)优化大教师模型的 harness,随后蒸馏出仅 4B 参数的小型学生模型以替代原教师。
推荐理由:提出两阶段方法将大模型的 harness 进化能力迁移至小参数学生模型,在 RoboTwin 上显著降低算力成本并提升成功率。
针对现有图控制屏障函数方法假设同构动力学或无法自然迁移至未见模型的局限,本文提出了能力条件异构图控制屏障函数(CC-HGCBF)。该方法在共享二阶参考点操作空间中定义安全几何表示,并引入径向能力场(RCF)以紧凑表征机器人状态相关的有限时域可达速度集。通过联合训练屏障与策略,实验展示了在混合团队中的可扩展安全协调、对未见机器人模型的零样本迁移以及在物理机器人上的无需重训部署能力。
推荐理由:提出能力条件图控制屏障函数,实现异构机器人团队零样本安全导航与迁移。
论文提出了 Contact Imitation Interface (CIMI) 框架,旨在通过无机器人的人体演示来规模化灵巧操作数据。该框架包含演示与学习两个接口:演示接口结合共享接触几何、指尖 RGB 视图及接触优先重定向技术;学习接口引入分层策略,由接触表面规划器预测相对轨迹并由控制器协调手腕与手指指令以优化对齐。
推荐理由:提出 CIMI 框架,通过接触几何对齐与分层策略,在 LEAP 和 Wuji 数据集上使六组手部任务的最终成功率提升至少 50 个百分点。
论文介绍 uni-robot-agent 框架,旨在通过开放权重模型降低机器人使用代理(RUA)的研究门槛。实验显示,无需特权输入时,Qwen3.8-Flash-Next 在 RoboDojo 基准上得分 31.39,超越 GPT-6 Astra-RoboProbe 的 28.97 分,并在 19 个真实世界任务中表现具有竞争力。
推荐理由:该工作提出统一框架 uni-robot-agent,验证了开源模型在无特权输入下即可达到与闭源模型相当的零样本操作能力。
该论文提出证据采集与可行性门控(EAFG)框架,旨在解决机器人执行长周期操作时依赖先验知识而忽视观测支持的问题。通过让视觉语言模型生成子目标并执行动作序列来采集视觉证据,系统据此决定是继续规划、获取进一步证据还是停止任务。研究在三个烹饪场景下评估了该方法,结果显示其在明确指令和模糊指令场景中优于基线,并能正确识别缺失物体时停止执行。
推荐理由:提出证据门控框架,结合视觉语言模型与任务运动规划以处理指令可行性。
针对物体交互任务中端到端生成式策略缺乏可解释性的问题,本文提出 RE4 框架,从第一性原理出发利用操作模式理论构建简单且可解释的模仿学习体系。该框架包含四个关键步骤:姿态估计以获取物体信息、基于操作模式的演示检索与变换、连接检索点的重规划以及返回变换后的演示进行 rollout。
推荐理由:该工作提出 RE4 框架,通过姿态估计与操作模式感知实现可解释的演示检索与变换,在仿真及真实机器人实验中均优于基线。
针对离线强化学习中回报最大化与行为约束间的脆弱权衡问题,本文提出 Latent Policy Steering (LPS) 方法。该方法通过反向传播原始动作空间 Q 梯度至可微单步 MeanFlow 策略来更新潜在动作空间的 Actor,消除了代理潜在评论家,使原始动作空间评论家能端到端引导潜在空间优化。
推荐理由:提出 Latent Policy Steering 方法,通过可微单步流策略实现高保真潜在策略改进,在 OGBench 及真实任务中优于强基线。
这篇论文是发表在 npj Robotics 上的综述,全面回顾了接触丰富机器人任务中基于学习的控制方法,特别是如何确保探索与执行阶段的安全性。文章将现有方法分为安全探索和 safe execution 两类,涵盖了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术。
推荐理由:该综述系统梳理了从经典方法到基础模型在接触丰富任务中的安全学习进展,为相关团队评估现有技术与未来方向提供参考。
本文介绍 BBoE,一种结合探索与利用、依赖预计算机器人运动的快速双向动力学采样规划算法。该策略通过利用预计算的边束(bundle of edges)在障碍物密集环境中高效收敛至目标。
推荐理由:该工作提出利用预计算运动束的双向动力学规划器,在四套不同系统中实现高成功率与低耗时。
论文提出了一项基准,在 MuJoCo 平台上对五种四足机器人(W01-TEK、Unitree Go1/Go2、Google Barkour vB、Boston Dynamics Spot)运行了十四种无监督环境设计、域随机化和机器人课程方法。
推荐理由:该基准在 MuJoCo 上对四足机器人评估了十四种无监督环境设计与课程方法,揭示了简单起步策略的局限性并提供了选型指南。
该论文提出 PhysVLMM 方法,为视觉 - 语言 - 运动地图中的每个铰接部件维护物理信念并回答规划器查询。面对移动物体无法识别动力学、仅凭拉动测量只能确定被拉部件及方向的问题,该方法将方向作为后验分布而非点估计,以闭式形式传递证据给未受影响的相似部件,并在给定风险下判断动作是否成功或放弃。
推荐理由:PhysVLMM 方法在真实家居环境中实现了对铰接物体动力学的快速推断,显著优于可微仿真与单视角学习基线。
论文提出了 DAWN(Diffusion-based Alignment and unfastening Workflow Network),这是一个用于执行现实世界拆卸任务的分层机器人框架,通过多模态感官融合解决精密螺丝刀接触、力控及环境鲁棒性挑战。
推荐理由:该工作提出分层框架 DAWN,在 Franka Emika 机器人上实现了与人工相当的螺丝对齐插入及稳定拆卸能力。
论文介绍 DEED 框架,旨在让预训练的视觉语言动作策略适应 MetaFine 五项细粒度操作任务。该方法通过对同一初始场景生成不同指令的演示,并在不同相机位置和光照条件下渲染物理轨迹,同时保持原始状态与动作目标。
推荐理由:提出 DEED 框架通过演示扩展与执行设计提升细粒度操作性能,在 MetaFine 任务中取得 85.55% 总分。
arXiv 发布论文介绍连续动作世界模型(CoAWM)框架,旨在支持跨机器人本体的动作生成与执行频率适配。核心是共享潜在函数空间,通过两阶段学习:首先利用不同本体和采样频率的轨迹进行预训练以获取共享动力学先验;随后连接世界模型骨干网络,使观测、语言指令和当前状态能条件化地预测潜在动作函数。
推荐理由:该预印本提出 CoAWM 框架,通过共享潜在函数空间实现跨机器人本体与控制频率的动作生成迁移。
该论文针对现有方法将短期动态与长期任务目标割裂、且未充分考虑预测未来与当前动作需求相关性的问题,提出了 HiFOR 框架。该方法通过层级依赖掩码联合预测短期状态演化、语义里程碑及最终目标状态;利用结构感知隐式世界建模沿时间、视角和空间维度组织未来潜在表示以支持细粒度检索;并在去噪过程中基于演化的动作表示自适应检索相关信息以指导动作生成。实验在两个仿真基准和六个真实机器人操作任务上验证了有效性。
推荐理由:提出分层前瞻框架,通过层级依赖掩码统一预测短期状态与长期目标,并结合结构感知隐式世界建模实现动作引导的未来信息检索。
TouchBridge 是一个软硬协同设计的框架,用于将人类演示高效转化为机器人领域的训练数据。其核心 Tac-Retarget 方法利用测量的接触信息对齐指尖接触区域并保留空间关系,无需物体网格、姿态估计或物理仿真即可实现跨形态映射。
推荐理由:提出无需物体网格或物理仿真的触觉重定向方法,将人类演示转化为机器人训练数据,在四项任务中平均成功率达 72.5%。
针对现有机器人数据集缺乏细粒度子任务标注且格式不统一的问题,该工作提出 RoboAtom-Data,为多源数据添加统一的、时间对齐的原子动作标注,涵盖 145 万条轨迹和 688 万个技能标记片段。
推荐理由:该工作提出 RoboAtom-Data,为多源机器人数据提供统一原子动作标注与基准,并证明其能提升技能识别精度及分层执行的任务成功率。
针对流基动作生成难以保证关节限位和碰撞避免的问题,本文研究仅通过黑盒可行性预言机访问可行集的设定,提出一种引导的可微分防护机制。该机制在正向传播中利用二元查询修正不安全更新,在反向传播中提取局部边界信息提供约束感知学习信号。
推荐理由:该文提出一种无需可微分约束模型的引导机制,利用二元可行性查询在训练与推理阶段同时保障物理约束满足。