RESONATE:一种用于自主服务机器人的真实社会导航测试床
针对自主服务机器人在人类环境中社会导航进展受限的问题,该工作提出了 RESONATE 基准,基于统一机器人平台和共享 ROS 2 软件栈,提供精确轨迹真值和结构化社交交互场景。
推荐理由:该工作提供了基于统一平台的社会导航基准,包含可复用的基线、数据及评测协议,支持社区开展人类感知导航研究。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
针对自主服务机器人在人类环境中社会导航进展受限的问题,该工作提出了 RESONATE 基准,基于统一机器人平台和共享 ROS 2 软件栈,提供精确轨迹真值和结构化社交交互场景。
推荐理由:该工作提供了基于统一平台的社会导航基准,包含可复用的基线、数据及评测协议,支持社区开展人类感知导航研究。
针对现有视觉 - 语言 - 动作(VLA)模型依赖马尔可夫假设导致长程任务失败的问题,本文提出 HeLM 框架,通过分层事件检测与触发式记忆更新维护任务相关历史。
推荐理由:提出分层显式语言记忆框架,在非马尔可夫任务中显著降低显存并提升成功率。
该论文提出一种基于数据学习的神经积分控制屏障函数方法,利用神经 ODE 学习动力学、模仿学习获取名义控制器、监督回归构建屏障函数,从而在无需几何标签的情况下确保状态安全。
推荐理由:提出用神经 ODE 学习动力学、模仿学习控制器与回归屏障函数,构建无需几何标签的积分控制屏障函数,在敏捷避障任务中消除不安全样本并优于基线。
针对混合专家(MoE)策略在政策梯度更新中因动态路由导致旧版与新版策略发散误估的问题,本文提出 MAPO 方法,通过交替优化路由器与专家网络来避免该误估。实验显示,MAPO 能持续跟踪 PPO with MoE 失败的 182 个运动样本,而后者仅能跟踪 MAPO 失败的 1 个样本。该方法在对比方法中取得了最高的跟踪成功率及最低的跟踪误差。
推荐理由:提出 MAPO 方法解决 MoE 策略梯度更新中的发散误估问题,在通用类人运动跟踪任务上显著优于 PPO with MoE。
针对现有世界动作模型(WAMs)因需显式想象未来状态而导致计算开销大、难以满足实时控制的痛点,本文提出 W2A 框架。该方法在训练阶段将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,假设压缩的低维子空间足以提供有效监督。实验表明,W2A 在 LIBERO 基准上平均成功率达 95.9%,推理速度比代表性 WAM 基线快约 21 倍,兼顾了高成功率与高效率。
推荐理由:提出将视频扩散模型的中间去噪表示蒸馏至动作模型,测试时完全丢弃视频模型,在保持高成功率的同时显著降低推理延迟。
针对传统 SLIP 模型无法描述躯干运动的问题,该研究提出一种中心支点(CPP)控制律,通过髋关节力矩引导地面反作用力穿过质心,将三维问题解耦为平面中心力问题。
推荐理由:该研究提出中心支点控制律,使带躯干的双足奔跑模型可解析求解并实现稳定周期步态。
针对分层控制在接触、平衡或扰动快速变化时固定规划器接口失效的问题,本文提出 EPO 方法,通过为每个低层策略学习复合能量模型来实时选择最优的策略 - 目标对。该方法允许在不重新训练现有策略的情况下融入新策略,并在仿真中改善了精度与鲁棒性的权衡,同时展示了在真机人形行走操作任务上部署冻结策略与能量模型的可行性。
推荐理由:提出基于能量的策略编排方法,在仿真与真机人形操作任务中提升模块化策略的可行性与鲁棒性。
这篇 72 页的综述指出,尽管预训练数据量巨大,现有机器人策略在日常操作任务中仍频繁失败,而人类儿童仅需数年即可掌握同类能力。
推荐理由:该综述提出从生物神经系统借鉴的设计原则,为下一代机器人模型架构提供了具体的理论假设与实现路径。
论文提出 Gnomon4D 世界动作模型,通过 GeoDelta 几何运动场显式编码物体与机器人点的跨帧位移和深度变化,结合 InSAttn 注意力机制聚焦任务相关交互区域。
推荐理由:该工作提出 GeoDelta 几何运动场与 InSAttn 注意力机制,在仿真基准上超越最强基线,为理解物理交互提供新范式。
该论文针对多模态大语言模型在多视角 RGB 观测中存在的“视角诱导的语义漂移”现象,提出了 LieVLM 框架。该方法通过提取几何 token 预测局部旋转参数和路由系数,利用封闭形式的 Padé--Cayley 映射对投影视觉特征进行身份相对校正并门控回原特征,从而在保留预训练语义与直接空间上下文的同时学习视角依赖的特征调整。
推荐理由:提出 LieVLM 框架,利用李群路由机制解决多视角语义漂移问题,在多项 3D 理解任务上优于传统融合方法。
该论文针对人机协同操作中的轨迹规划问题,提出一种将任务约束与基于 Fitts 定律的时间约束融入随机最优控制的方法。通过递归最小二乘法估计参数,使机器人能根据人类行为调整自身运动时长以对齐双方协作。研究假设速度提升源于机器人的精度增强,并在机器人控制重复自由度、人类适应互补自由度的定位任务中验证了该方法在计算上适合在线使用且能收敛加速,但指出未来需进行更深入的人类学研究。
推荐理由:该文提出结合 Fitts 定律与随机最优控制的方法,使机器人能根据人类行为调整运动时长并提升速度。
针对扩散驱动视觉语言动作模型(Diffusion driving VLAs)在每个去噪阶段重复执行骨干网络导致的高推理成本问题,本文提出一种场景自适应读出与解码框架。
推荐理由:提出场景自适应读出与解码框架,在 Waymo E2E 基准上推理加速最高达 6.0 倍,同时提升轨迹预测质量。
论文介绍 CompliantBot 框架,解决人形机器人在需对外力屈服的同时恢复原任务的难题。该方法通过状态依赖的交互力场耦合负载与运动,利用互补奖励协调屈服与任务恢复,无需预构造合规数据或目标轨迹。实验显示,CompliantBot 在恒定拉力下屈服更远、弹簧相互作用载荷更低,且在强拉力下任务完成率最高、关节机械功率最低。
推荐理由:提出无需预构造数据的合规训练框架,在保持任务执行能力的同时实现全身顺应性。
论文提出了 HuG 框架,旨在解决人形机器人在自眼视角下目标遮挡及全身协调运动难题。该框架通过“感知 - 对齐 - 抓取”流水线耦合感知与动作,利用控制器在环的动力学模拟筛选训练数据,剔除会导致部署控制器失稳的 73% 仅满足运动学有效的抓取方案,从而学习符合动力学可行性的 affordance。
推荐理由:该工作提出 HuG 框架,通过闭环动力学筛选训练数据,使策略在零真实演示下于多层级货架任务达到 87.5% 成功率。
论文提出 MoPort,旨在让运动语言模型(MoLMs)直接处理单目视频的二维观测数据。方法引入成对视角对齐(PVA)和相机调制编码(CME),以解决从 2D 到 3D 的维度差距及视角变化带来的歧义。
推荐理由:提出 MoPort 方法解决单目视频三维动作建模的视角与深度歧义问题,在 HumanML3D 等基准上优于现有基线。
作者提出 See, Think, Use 协议,用于追踪视觉语言模型的每个回答是源于感知、推理还是利用感知信息。该协议通过定位探针和文本替换探针测量“看”与“想”,并利用反事实图像对计算“用”的比率。在两个模型家族和六个数据集上验证显示,当模型回答违背常识先验时,强制其先进行定位可修复此类失败;按阶段分配计算资源能以更低成本接近最佳均匀策略。作者将开源代码、提示词及每问输出。
推荐理由:该协议通过额外提问诊断 VLM 的感知与推理失败阶段,无需访问模型权重即可指导测试时计算分配。
该研究量化了由 GPT-6-Astra、RPent 和 pi0.5 生成的 80 个 LIBERO-PRO 任务集的工作负载,发现视觉语言大脑的长上下文 KV 缓存会挤占动作策略的执行资源。在 H800 GPU 上,静态并发上限可将吞吐量从约 2.4 提升至 5.00-5.55 任务/分钟,并满足严格的动作截止时间要求。
推荐理由:论文量化了多机器人集群中视觉语言大脑与动作策略的并发资源冲突,提出基于工作负载特征的准入控制原则。
论文提出 Path-preserving Time Scaling (PTS),一种针对冻结动作分块策略的无需训练执行层。该方法将机器人运动视为参考路径的时间重参数化,通过解码器确定性地处理重规划并进入推理消耗进度,同时保持机械臂速度以匹配夹爪移动速率。
推荐理由:提出无需训练的 PTS 执行层,解决 VLA 模型推理延迟导致的停顿与低速问题,在 LIBERO 基准上显著提升吞吐量。
针对低层控制器不可访问的位置指令机械臂重复跟踪难题,作者提出可微分迭代学习控制(Diff-ILC)框架。该方法通过一次离线辨识闭环微分模型,在每次物理执行间利用二次规划计算可行修正并定义任务级目标,借助隐式微分实现参数更新而无需额外机器人动作。
推荐理由:提出一种无需底层控制器访问的在线双层框架,在两次迭代更新后显著降低关节与笛卡尔空间误差。
该研究提出 Auriga,一种任务无关的代理框架,旨在解决视觉语言模型作为机器人策略时的规划 - 执行鸿沟问题。在 RoboDojo 平台上,Auriga 无需目标任务试错或重置即可消除 68.3% 的执行差距,使 GPT-6 Astra 的成功率从参考控制界面的 22.5% 提升至 76.2%,并在榜单上以 57.7% 的成功率和 64.0 分排名第一。
推荐理由:报告提出 Auriga 代理框架,在零样本操作任务中显著缩小规划与执行差距,提升 RoboDojo 榜单成功率。