jaxipm:首个支持 GPU 批处理的通用约束非线性优化求解器发布
论文介绍了 jaxipm,这是基于 JAX 实现的 IPOPT 算法 GPU 批处理版本,旨在解决现代 GPU 硬件上运行非线性规划(NLP)时的 CPU-GPU 传输瓶颈。
推荐理由:该工作提出首个 GPU 批处理非线性优化求解器,解决了传统 CPU 求解在机器人高频采样中的瓶颈问题。
论文介绍了 jaxipm,这是基于 JAX 实现的 IPOPT 算法 GPU 批处理版本,旨在解决现代 GPU 硬件上运行非线性规划(NLP)时的 CPU-GPU 传输瓶颈。
推荐理由:该工作提出首个 GPU 批处理非线性优化求解器,解决了传统 CPU 求解在机器人高频采样中的瓶颈问题。
论文介绍 DuoBench 框架,涵盖 FR3 Duo 平台上的十一项双臂操作任务,包含仿真环境与部分实物复现的标准化流程。研究提出分阶段评估方案以支持细粒度语义失效分析,并对比了多种模仿学习与视觉语言动作策略的表现。结果显示当前策略在交互初期、双臂并行执行及虚实迁移场景中仍面临挑战,且仿真能复现真实实验中的同类失效模式。代码与数据集已开源。
论文提出了 IntentNav 框架,旨在解决未知环境下的物体导航问题。该方法引入前沿基于的人类意图标注技术,从低层动作推断高层搜索意图;构建包含 BEV 记忆与视角视觉记忆的候选空间,利用 VLM 策略选择最佳目标。在 MP3D、HM3D-v1 和 HM3D-v2 基准上取得了学习类方法的最优成功率,且该导航接口可零样本迁移至轮式、四足和人形机器人,无需额外微调。
论文提出 PACE(Phase-Aware Chunk Execution),一种无需训练的机器人策略在线执行方法。该方法利用预测速度曲线中的低速谷值作为重规划边界,以平衡反馈频率与运动连续性。
推荐理由:提出无需训练的 PACE 方法,利用预测速度曲线的低速谷值动态选择重规划边界,在 RoboTwin2.0 和 LIBERO 基准及真机实验中均优于固定或自适应策略。
论文介绍 DynaFLIP 框架,旨在解决传统机器人学习管道依赖静态视觉编码器、将运动理解推给下游策略的问题。该方法构建图像 - 语言-3D 流三元组作为训练监督,鼓励三种模态在共享超球空间中占据较小的单纯形体积以增强对齐,并结合余弦正则化与对比目标以避免几何歧义和平凡坍缩。
推荐理由:该工作提出将运动理解上移至感知层,通过多模态监督构建动力学感知表征,在跨分布场景下提升机器人泛化能力。
本文提出了一个在线轨迹和形态规划框架,使变形四旋翼能够仅使用2D激光雷达感知障碍物,从而穿越窄于其展开宽度的通道。核心创新在于从激光雷达数据中计算出的代价函数修正项,该修正项在狭窄通道的中线处抵消了障碍物的排斥成本,使其成为低代价走廊,而在其他区域保留完整的排斥成本。
针对异构机器人团队中不同动力学与控制限制导致的安全义务难以均等满足的问题,提出一种能力感知异质控制屏障函数(CA-HCBF)去中心化框架。该方法通过规范变换与反步法推导了适用于全向与非全向移动机器人的统一操作空间二阶控制仿射表述,解决了相对阶不匹配问题并保持了成对安全集的向前不变性。
针对水下网络与多智能体协同技术进展,本文提出一种用于多 AUV 自组网的场景自适应具身智能架构,将感知、决策与物理执行整合为统一认知回路。该架构定义基于信标的通信控制模型,引入具备双路径评论家机制的场景自适应 MARL(SA-MARL)算法,通过动态融合解耦专用跟踪任务与全局安全约束。
针对外骨骼辅助中用户与设备需协同适应的非平稳学习问题,本文提出分阶段多智能体训练(SMAT)框架。该方法在 MyoAssist 仿真环境中,先让肌肉骨骼模型学习无助力步态及适应附加质量,再训练外骨骼策略,最后实现双向反馈下的共同适应。
推荐理由:提出分阶段多智能体训练框架,在仿真与物理实验中均实现无需个体重训的持续正向助力。
针对模块化设计在开放场景的局限,该研究提出语义与策略双驱动的混合决策框架,融合大模态模型进行认知表征及深度强化学习优化实时策略。通过车道变更规划案例的仿真验证,该方法较基线提升至少 19% 性能。文章还指出了关键开放挑战并指明了后续研究方向。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
论文介绍了 DexCanvas,这是一个混合真实 - 合成数据集,包含 7000 小时的手物交互记录及每帧接触点与力信息,数据源自 70 小时光学动捕并通过 RL 策略在仿真中复现。实验显示该数据集使 Diffusion Policy 成功率从 67.5% 提升至 82.2%,并在未见物体上保持 72.5% 的成功率。111,857 条力标注轨迹已在 Hugging Face 公开。
针对复杂动态水下环境机动性受限问题,该研究提出一种配备矢量推进器的方向可调推进器水下车辆(OAT-UUV),实现全六自由度运动。系统采用基于视觉的跟踪控制方案,集成实时状态反馈与新型前馈自适应模型预测控制器(FF-AMPC)。实测表明,该设计显著提升了水下机动性,且 FF-AMPC 控制器相比传统控制器使悬停性能提升 49.1%。
该研究对比了两种机器人教学行为,发现当检测到旁观者时,通过转向身体、隐藏屏幕并以静音方式展示反馈的“上下文自适应”策略,显著提升了用户对隐私意识和社交能力的评分。实验基于 40 名参与者的双盲测试,使用预设的发音与书写批评信息验证效果,但未证实能减少尴尬体验。结果指导了具身智能系统在共享空间中保护敏感信息的交互设计。
该研究在 Wizard-of-Oz 设置下,利用耳内音频与头部倾斜构建可穿戴中介通道,使屏幕社交机器人在 40 名参与者组成的 20 对游戏中成功完成 39/40 次信息交换。实验显示佩戴者压力无显著差异且可用性良好,但非佩戴者存在感知不一致,揭示了未来设计需关注隐私与公平性。
论文提出 Aero-VPA 轻量级视觉预测动作架构,用于边缘硬件上的三维导航。该架构利用紧凑的 RGB-D Vision Transformer 和五头集成预测器在不进行像素重建的情况下预测下一潜状态,并通过条件流匹配求解器在两个欧拉步骤内生成速度和偏航率片段。
推荐理由:该工作提出 Aero-VPA 架构,在 PX4 仿真环境中实现四旋翼自主飞行闭环评估,公开代码、策略与基准数据集。
该研究针对推理型视觉语言动作(VLA)模型,发现视觉扰动可在保持生成理由逐字不变的情况下改变物理动作。在 Alpamayo 和 InstructVLA 模型上,基于文本中性残差子空间(TNAS)的干预比传统方法更高效地诱导动作变化且大幅降低文本漂移。
推荐理由:论文揭示视觉扰动可独立于文本理由改变动作,提出 TNAS 诊断方法证明仅凭文本无法认证安全,需直接验证动作通道。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
论文提出 RoboTryOn 框架,将人类到机器人的动作迁移类比为虚拟试穿:保留人类视频中的运动与场景,仅替换主体为指定机器人。该方法利用自回归关键帧翻译和基于手骨架的运动条件生成,结合逆动力学模型推断动作标签以辅助策略学习。实验表明,在无需真实机器人演示新任务的情况下,合成数据训练的策略在多足机器人灵巧操作等挑战任务上的平均成功率从 2% 提升至 60%,且采集成本约为纯遥操作数据的三分之一。
针对大规模视觉语言基础模型带来的计算延迟问题,本文提出异步机器人策略(ARP)框架,将高容量视觉语言模型的语义记忆更新与轻量级视觉动作专家的动作生成解耦为不同频率的异步过程。该方法在 Franka 操作任务上实现了比基线高 18% 的成功率和更短的执行时间,且在动态仿真环境中性能提升 3-5 倍;同时允许以远低于标称频率运行 VLM 而无需牺牲性能,显著提升了部署效率。
WayTrace 是一种连接网络地图指令与机器人运动的层级化系统。该系统利用现成的视觉语言模型读取分步导航指令、卫星地图和实时相机图像,并发出原子级语言命令(如“向左过马路”)。
论文介绍 DexHOT 方法,将灵巧操作形式化为手物构型转移任务,通过合成数据学习可复用的关系条件转移原语并闭环跟踪子目标。在包含 120 个物体的基准测试中,单策略对已知物体达到 80.5% 的转移成功率、未知物体为 69.4%;在真实灵巧手上完成 200 次真机转移成功率为 61.5%,并在六个演示引导任务中达成 90% 的任务成功率。
论文提出 HLO-AMP 框架,通过分层策略解决人形机器人移动与操作任务中低层控制器缺乏物体感知的难题。方法将低层控制器训练为物体感知运动先验,利用重定向动作捕捉数据在真实物体存在时学习自然协调与接触力分布;高层策略则基于经验包络进行参考免费训练以防止越界。实验在宇树 G1 平台上实现了双手抓放任务,验证了该方法对物体质量、尺寸及初始目标位姿的泛化能力,并展示了从搬运中故意掉落后的恢复效果。
推荐理由:该工作提出将低层控制器训练为物体感知的运动先验,在真实物体存在下学习自然协调与接触力分布。
该研究引入 CRONOS 仿真基准,用于评估非回合制场景下对预训练视觉语言动作(VLA)模型的微调效果。实验表明,直接微调会导致因物体配置和末端执行器姿态偏移而失效;通过针对性重置分配可缓解此问题并提升长程操作泛化能力。
针对通信受限环境下的移动机器人遥操作难题,该研究提出一种共享自主框架,通过嵌套硬软视野约束解决连通性与跟随者停滞的冲突。方法在几何上利用基于可见性的控制屏障函数(CBFs)强制连通性,并在二次规划中局部计算控制输入以平衡移动能力与连接保证。实验在受限杂乱环境中对运动学积分器和软件环 Crazyflie 四旋翼系统进行评估,结果显示该框架能保持链路更靠近连通集并减少跟随者位移。
论文提出一种基于 3D 几何抽象的接口,将机器人场景的空间推理从原始图像转移到文本和符号上。该方法利用校准后的 RGB-D 数据对物体部件进行类型化和证据感知的符号引用,并在每次动作后返回包含度量残差的紧凑文本检查点。
推荐理由:提出通过几何抽象将空间推理从图像转为符号,减少多模态查询并提升多步操作成功率。
该研究提出改进的全局连通性维护算法,结合单智能体、钉扎及质心三种自适应监督策略,为多机器人系统提供触觉反馈以辅助人类操作。用户研究显示,该方法在多种场景下有效维持了智能体间约束并提升了人机协作性能。论文基于雷恩大学 IRISA 实验室的博士论文,于 2025 年 4 月答辩并通过 arXiv 发布。
该论文提出 HiLo-WAM 架构,旨在解决现有世界动作模型(WAMs)在捕捉长程任务上下文方面的不足。方法通过稀疏长程视觉流和密集局部动态流,在统一的双 DiT 架构中分别建模历史任务背景与短时机器人 - 物体交互,并利用结构化跨流注意力引导动作生成。
推荐理由:该工作提出 HiLo-WAM,通过解耦长程任务演化与局部动态并联合建模交互,在 RoboTwin 2.0 等基准上实现高成功率与推理加速。
该论文提出 ARPG 框架,利用大语言模型作为设计者而非执行决策者来构建机器人强化学习管道,包括马尔可夫决策过程(MDP)建模和仿真器实现。实验表明,该方法在 Isaac Sim 中相比单一 LLM 基线和现成代理系统,显著提升了建模正确性、环境可执行性和策略生成成功率。
该论文针对预训练大模型在具身智能导航中缺乏物理落地与显式安全保证的问题,提出一种模块化系统:集成高层 VLA 规划器与低层物理感知层,利用 SDF 表示和离散指数障碍函数约束 MPPI 规划器,为腿部机器人提供可证明的碰撞避免保证。系统在双足和四足机器人上进行了广泛的真实世界实验,验证了其高效、安全且通用的视觉语言驱动导航能力。
推荐理由:本文提出通过障碍函数约束与 SDF 感知为双足及四足机器人的 VLA 导航提供可证明的碰撞避免保证,并在真实机器人上验证了安全性。
视频世界模型虽能评估候选动作的想象结果,但高预测奖励常偏向执行质量差的轨迹。本文提出 Trusting Imagined Futures (TIF),一种离线监督选择方法,利用多维奖励模型和不确定性审计器识别过估计模式。
推荐理由:该工作提出利用执行反馈审计想象奖励以筛选 VLA 后训练数据,在 LIBERO 基准上提升成功率并在真实机器人任务中提高完成度。
论文提出一种动作条件潜变量前瞻(action-conditioned latent foresight)方法,构建潜在世界 - 动作模型以在执行前评估指令序列。
推荐理由:提出动作条件潜变量前瞻方法,在仿真与真实机器人任务中均优于基线,验证了潜在世界 - 动作模型的有效性。
该工作推导了多旋翼飞行器在机身几何与气动特性不变条件下,仅因负载变化导致质量改变时的能量最优稳态水平飞行行为缩放关系。实验验证表明:能量最优速度与质量的平方根成正比、最优俯仰角随质量恒定、单位距离能耗与质量成正比。这些定律支持通过简单的巡航速度规划来优化能效并延长续航范围。
针对大视觉语言模型处理模糊指令时易过度自信的问题,本文提出 CLARA 框架,模仿人类行为主动向用户提问以获取关键细节,将模糊指令转化为结构化方案并生成目标场景渲染图作为理解确认。实验与用户研究证明该方法比现有最先进系统更准确一致,填补了模糊指令与具体任务规范之间的差距。
论文提出 DreamFree,一种利用预训练视频扩散模型进行机器人控制的 World Action Model(WAM)。该方法通过表征蒸馏技术,使视觉编码器仅基于当前观测即可预测冻结的扩散模型内部表示,从而无需生成未来视频即可提取动作相关信息。
针对 VLA 模型依赖昂贵真实机器人数据的瓶颈,本文提出 Action-Intent Transfer (AIT) 方法,通过两阶段流程从人类视频中提取并解耦明确的动作意图,在共享意图空间对齐人机域并将其解码为可执行动作。实验表明该方法比现有基线更有效地迁移人类知识且表现一致。
针对通信受限下的自主水下车辆协调问题,该研究提出一种结合大语言模型(LLM)解释自然语言指令、混合整数线性规划(MILP)优化分配及分布式行为树(BT)执行的层级框架。
论文提出一种感知物理的扩散策略框架,通过耦合 3D 高斯泼溅与可微材料点法(MPM)仿真,从视觉演示中恢复物体材质属性。估计的物理条件被集成到材质感知的专家混合扩散策略中,以实现不同物理 regime 下的自适应行为生成。此外,引入了无需在线优化即可高效检索物理信息的物理记忆库。在多种模拟和真实世界物体上的实验表明,该方法相比现有的基于扩散的方法提升了操作成功率与泛化能力。
针对直接部署视觉基础模型(VFM)存在计算成本高、时序不一致及分布偏移等问题,本文提出 All-For-One 两阶段蒸馏框架。该方法在训练阶段利用 VFM 作为特权信息融合 RGB 观测以学习语义增强表示,随后将知识蒸馏至仅依赖 RGB 的轻量级学生策略网络。
该论文提出 SR-DP(Spectrally Routed Diffusion Policy)以解决多任务机器人操作中的性能瓶颈。针对卷积编码器视觉条件判别力不足及不兼容动作模式导致的梯度干扰问题,作者设计了冻结 VGGT 编码器与空间压缩适配器生成紧凑语义几何令牌,并通过谱路由和 Householder 输入旋转分解线性层为正交秩一专家基。