World-Model-Augmented Visual Locomotion for Humanoids on Foothold-Constrained Terrain
论文提出 World-Model-Augmented Visual Locomotion (WM-LOCO),通过联合训练的世界模型预测未来本体状态、自中心观测及任务奖励,为近端策略优化(PPO)提供前瞻脚位放置上下文。
论文提出 World-Model-Augmented Visual Locomotion (WM-LOCO),通过联合训练的世界模型预测未来本体状态、自中心观测及任务奖励,为近端策略优化(PPO)提供前瞻脚位放置上下文。
论文提出 DEED(Data-Efficient Post-Training and Experience-Driven Learning)框架,旨在弥合基准性能与可靠现实操作之间的差距。
推荐理由:提出 DEED 框架,通过数据高效微调与经验驱动学习在单 GPU 上实现 Unitree G1-Edu 机器人超市补货任务。
针对现有机器人感知受限于机载或固定传感器的局限,本文提出了 SensorPerch 范式,将传感器视为可由机器人自主拆卸和重新安装的独立物理实体。该系统包含一个可附着于多种表面的轻量级无线传感器平台及视点选择框架,使机器人能按需构建任务相关视点。实验在物体耦合感知(实现机器人不在场时的持续状态检测)和政策耦合感知(构建策略特定视点并达到与理想视点相当的成功率)两类任务上进行了验证。
论文介绍了 jaxipm,这是基于 JAX 实现的 IPOPT 算法 GPU 批处理版本,旨在解决现代 GPU 硬件上运行非线性规划(NLP)时的 CPU-GPU 传输瓶颈。
推荐理由:该工作提出首个 GPU 批处理非线性优化求解器,解决了传统 CPU 求解在机器人高频采样中的瓶颈问题。
论文提出了 IntentNav 框架,旨在解决未知环境下的物体导航问题。该方法引入前沿基于的人类意图标注技术,从低层动作推断高层搜索意图;构建包含 BEV 记忆与视角视觉记忆的候选空间,利用 VLM 策略选择最佳目标。在 MP3D、HM3D-v1 和 HM3D-v2 基准上取得了学习类方法的最优成功率,且该导航接口可零样本迁移至轮式、四足和人形机器人,无需额外微调。
该研究提出 SimuScene,一种将物理引擎纳入形状与布局估计生成过程的组合式 3D 重建管线。不同于仅用于后处理修正,该方法利用物理引擎在生成过程中作为诊断测量工具,通过重力模拟将穿透和支撑失败转化为定量修正信号以驱动模态形状重采样及轻量级几何拉伸修正,从而缓解累积误差并产出稳定的物理就绪场景。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
针对异构机器人团队中不同动力学与控制限制导致的安全义务难以均等满足的问题,提出一种能力感知异质控制屏障函数(CA-HCBF)去中心化框架。该方法通过规范变换与反步法推导了适用于全向与非全向移动机器人的统一操作空间二阶控制仿射表述,解决了相对阶不匹配问题并保持了成对安全集的向前不变性。
针对水下网络与多智能体协同技术进展,本文提出一种用于多 AUV 自组网的场景自适应具身智能架构,将感知、决策与物理执行整合为统一认知回路。该架构定义基于信标的通信控制模型,引入具备双路径评论家机制的场景自适应 MARL(SA-MARL)算法,通过动态融合解耦专用跟踪任务与全局安全约束。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
针对模块化设计在开放场景的局限,该研究提出语义与策略双驱动的混合决策框架,融合大模态模型进行认知表征及深度强化学习优化实时策略。通过车道变更规划案例的仿真验证,该方法较基线提升至少 19% 性能。文章还指出了关键开放挑战并指明了后续研究方向。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
针对复杂动态水下环境机动性受限问题,该研究提出一种配备矢量推进器的方向可调推进器水下车辆(OAT-UUV),实现全六自由度运动。系统采用基于视觉的跟踪控制方案,集成实时状态反馈与新型前馈自适应模型预测控制器(FF-AMPC)。实测表明,该设计显著提升了水下机动性,且 FF-AMPC 控制器相比传统控制器使悬停性能提升 49.1%。
论文提出 DRAP(Dynamics-Risk Adaptive Plasticity),这是一种无需回放机制的物理 AI 持续学习方法,旨在解决小步策略误差累积导致闭环任务失败的问题。
推荐理由:提出无需回放机制的 DRAP 方法,通过轨迹风险加权梯度累积来动态调节模型张量的可塑性,在 OpenVLA 子网络上实现了 LIBERO 基准任务中旧行为保留与新任务获取的平衡。
该研究对比了两种机器人教学行为,发现当检测到旁观者时,通过转向身体、隐藏屏幕并以静音方式展示反馈的“上下文自适应”策略,显著提升了用户对隐私意识和社交能力的评分。实验基于 40 名参与者的双盲测试,使用预设的发音与书写批评信息验证效果,但未证实能减少尴尬体验。结果指导了具身智能系统在共享空间中保护敏感信息的交互设计。
该研究在 Wizard-of-Oz 设置下,利用耳内音频与头部倾斜构建可穿戴中介通道,使屏幕社交机器人在 40 名参与者组成的 20 对游戏中成功完成 39/40 次信息交换。实验显示佩戴者压力无显著差异且可用性良好,但非佩戴者存在感知不一致,揭示了未来设计需关注隐私与公平性。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
WayTrace 是一种连接网络地图指令与机器人运动的层级化系统。该系统利用现成的视觉语言模型读取分步导航指令、卫星地图和实时相机图像,并发出原子级语言命令(如“向左过马路”)。
论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
作者提出 LoopQ 基准,在相同检查点、层和引擎下对比 RTN、AWQ、GPTQ 等四种量化策略。基于 LIBERO 数据集超过 180,000 个回合的测试显示,通用 PTQ 方法在低比特(4 bit)下表现优于或持平于专用方法;标准 LIBERO 掩盖了损失,配对扰动下无显著损失的配置仍会丢失 1.5-4.3 分。
针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。
论文提出 FloMo 模型,这是一个经过微调的 5B 参数视频生成模型,旨在预测 3D 场景流(scene flow)和动作 token。研究论证了稠密 3D 运动是视频预训练向机器人动作迁移的最佳媒介,相比直接预测视频或联合预测,仅预测运动能提升样本效率并改善对未见物体、运动原语及任务的泛化能力。
推荐理由:提出用稠密3D运动场作为视频预训练向机器人动作迁移的中间媒介,通过联合预测验证了该路径优于直接视频预测。
该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
论文提出 Cycle WAM 模型,旨在解决现有世界动作模型(WAM)中动作与其视觉后果缺乏一致性训练的问题。该方法将视频与动作视为由因果关系链接的成对模态,通过双向转换增强跨模态对应关系并恢复前向与逆向动力学。
针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。
论文提出 DreamFree,一种利用预训练视频扩散模型进行机器人控制的 World Action Model(WAM)。该方法通过表征蒸馏技术,使视觉编码器仅基于当前观测即可预测冻结的扩散模型内部表示,从而无需生成未来视频即可提取动作相关信息。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
该论文提出 SR-DP(Spectrally Routed Diffusion Policy)以解决多任务机器人操作中的性能瓶颈。针对卷积编码器视觉条件判别力不足及不兼容动作模式导致的梯度干扰问题,作者设计了冻结 VGGT 编码器与空间压缩适配器生成紧凑语义几何令牌,并通过谱路由和 Householder 输入旋转分解线性层为正交秩一专家基。
该论文提出 GVT3D 模型以解决 3D 具身参考理解中跨模态对齐难与计算成本高问题。方法包括在共享嵌入空间联合建模语言、手势和视觉输入的 Embodied Fusion 模块,以及针对点云粗粒度区域的注视(foveation)处理策略。
RAFT 是一种针对视觉语言动作(VLA)策略的两阶段后训练方法,先在任务相关推理标注上训练低秩适配器并冻结,再在动作演示上微调策略。该方法在物理 DROID 机器人上实现了 75.0% 的分布外成功率,显著优于普通微调的 27.9%;在多阶段双手 YAM 任务中平均成功率为 70.0%,强基线为 36.0%。
该论文介绍了一种专为人类级任务设计的人形机械臂硬件平台 RAIPAL。不同于追求均匀工作空间的常规设计,该平台依据已发表的人类上肢性能测量数据推导力、速度和耐力目标,指导执行器与热设计以实现扭矩透明度和持续运行能力。
该研究提出 ActOR 框架,将墙挂式环境相机与机器人头显数据融合为共享对象级数字孪生(DT),利用大语言模型代理在 DT 上进行规划并调用预编程的移动与操作技能。
该论文提出一种结合单刚体模型、姿态动力学及完整接触 wrench 的在线优化框架,通过增广拉格朗日与松弛障碍惩罚将接触力与步点位置联合优化。该方法在 MuJoCo 仿真中以 100 Hz 重规划(平均求解时间 8.9 ms),并在宇树 G1 机器人上验证了稳态行走及恢复 245 N 前向和 175 N 侧向冲击的能力。材料为预印本,未提及同行评审状态或具体部署许可。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。