机器人策略中的推理计算分配:细化与重规划的权衡
本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。
推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。
本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。
推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
该研究量化了由 GPT-6-Astra、RPent 和 pi0.5 生成的 80 个 LIBERO-PRO 任务集的工作负载,发现视觉语言大脑的长上下文 KV 缓存会挤占动作策略的执行资源。在 H800 GPU 上,静态并发上限可将吞吐量从约 2.4 提升至 5.00-5.55 任务/分钟,并满足严格的动作截止时间要求。
推荐理由:论文量化了多机器人集群中视觉语言大脑与动作策略的并发资源冲突,提出基于工作负载特征的准入控制原则。
针对闭环机器人操作中低推理延迟的关键需求,本文提出了 RTPolicy,这是一种结合视图感知特征融合与视觉压缩的多视角视觉运动策略。该策略通过流匹配动作生成器降低计算成本,在 RoboTwin~2.0 单任务清洁评估的 50 个任务中平均成功率为 52.26%,优于最强基线$ ext{\pi}_0$(46.4%)。
推荐理由:该文提出 RTPolicy,在边缘设备上实现实时多视角视觉运动策略,异步流式推理下双臂平台任务成功率达 72%。
针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。
推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。
论文发现对视觉语言动作(VLA)模型进行剪枝会导致严重的性能下降和安全违规增加。基于光谱分析揭示的权重结构特性,作者提出 GLUESTICK 方法,通过在稠密与剪枝模型间插值计算一次性校正项,在推理阶段恢复被剪枝层的性能。该方法无需额外训练且对剪枝算法无关,能在保留稀疏性优势的同时,将成功率恢复至接近原始水平并提升推理速度。
推荐理由:针对剪枝导致 VLA 模型性能骤降与安全违规的问题,提出无需额外训练的 GLUESTICK 后处理恢复方法。
论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。
推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。
NVIDIA 发布 Cosmos 3 Edge,这是 Cosmos 3 家族中首个专为端侧机器人控制设计的 4B 参数全模态模型(含 2B NVIDIA Nemotron 推理器)。该模型旨在解决世界模型因体积过大难以部署在车载或机器人本地计算硬件的问题,使策略能适配传感器、环境与任务。
推荐理由:NVIDIA 推出 Cosmos 3 Edge,将 4B 参数世界模型压缩至端侧硬件,解决物理交互学习模型的部署难题。