英伟达发布VFlash视觉规划框架,机器人推理提速12倍
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
英伟达发布了面向快速精准视觉规划的通用解码框架VFlash。该框架利用视觉信息的几何结构,通过并行预测完整空间信息替代传统逐Token生成,在三维点运动预测任务中单次生成速度提升约25倍,动作解码最高加速12倍、整体机器人推理加速5.1倍。
推荐理由:英伟达推出VFlash并行解码框架,将机器人推理加速5倍、动作解码提速12倍,并提升任务成功率。
智元 AGIBOT 在上海徐汇区一家运营中的便利店完成了为期 24 小时的实地测试,六台 G2 轮式人形机器人累计完成 1,730 项任务。其中四台通过最终性能评估,涵盖顾客服务、货架补货、咖啡制作及清洁等场景。
推荐理由:智元在便利店完成 24 小时实测,验证了 G2 机器人在真实零售场景下的任务执行与自适应能力。
论文提出 RAYEN 框架,旨在解决学习系统中难以同时保证硬凸约束满足且计算成本高的问题。该方法支持线性、二次、二阶锥及线性矩阵不等式等多种约束组合,无需昂贵的正交投影或软约束近似,在训练和测试阶段均能确保任意输入与权重下的约束满足。
推荐理由:RAYEN 框架在训练与测试阶段均保证硬凸约束满足,相比现有方法显著降低计算开销并提升轨迹优化求解速度。
该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。
推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。
视觉 - 语言 - 动作模型(VLA)常因数据集偏差而依赖视觉捷径,忽视语言指令意图。该工作提出首个反事实基准 LIBERO-CF,在相同场景布局下分配替代任务以评估语言遵循能力。
推荐理由:该工作提出首个 VLA 反事实基准 LIBERO-CF,并给出无需修改架构的 CAG 方法以缓解视觉捷径导致的指令遵循失效问题。
论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。
推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。
该论文针对具身智能体在仿真基准测试中暴露验证标准(Criteria Exposure)的做法提出质疑。研究发现,当智能体被暴露于此类标准时,虽能快速生成高评分代码,但一旦标准微调便失效,且技能跨任务迁移性差。作者进一步提出了更忠实于指令的验证标准方案。
推荐理由:实验表明暴露验证标准会导致模型过拟合评分而非完成任务,且技能迁移性差。
论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。
推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。
针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。
推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。
该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。
推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。
针对基于前沿的探索系统需反复计算机器人位姿与候选视点间测地线成本的问题,本文提出 H-TRIP 方法。该方法利用 Kleene 代数在 min-plus 半环上构建精确距离索引,将地图划分为具有固定边界端口的空间层次结构。
推荐理由:提出基于层次化热带秩一增量传播的精确距离索引,解决多机器人探索中全局捷径导致的缓存失效问题。
该研究提出了一套面向轮式移动机器人的视觉自主导航开源栈,旨在有限传感与计算资源下整合感知、定位、规划与控制。系统连接了YOLOv8n检测、几何方向估计、RGB-D SLAM、轮惯状态估计及运动学感知规划,并通过行为树管理任务。
推荐理由:该研究提供了一套面向轮式移动机器人的视觉自主导航开源栈,集成了YOLOv8n检测与RGB-D SLAM,在Jetson Orin NX上实现了低延迟感知,并公开了数据集与评估日志。
论文提出 Spatiotemporal Training with Explicit Prediction (STEP) 框架,旨在解决感知型人形机器人运动中地形几何与身体状态演化的关联问题。
推荐理由:提出 STEP 框架,联合监督跨模态关系与动作依赖的状态演化,在仿真及硬件实验中提升地形穿越成功率。
该论文提出一种渐进式模仿框架,用于学习适用于人形机器人的极端跑酷技能并自适应其手 - 膝支撑模式。演示数据提供穿越行为,但接触模式需适配机器人比例和可用支撑面。
推荐理由:提出渐进式模仿框架,在 Noetix E1 上实现高成功率跨障碍与手膝支撑适应。
论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。
推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。
该论文提出了分形阻抗控制器的最新架构——谐波被动运动范式(H-PMP),并构建了支持 ROS2、MuJoCo 及物理硬件集成的统一开源框架。通过 Kinova Gen3 机械臂在轨迹跟踪、突发接触丢失和示教学习三个实验中的对比,结果显示 H-PMP 能在无计算开销下实现导纳与阻抗行为的无缝切换,适用于非结构化环境。材料为预印本,未报告真实机器人部署结果或量产状态。
推荐理由:原文介绍了谐波被动运动范式的统一框架与开源软件套件,并通过三个实验验证了其在非结构化环境下的交互能力。
针对机器人操作移动物体时观测滞后导致技能成功率预测不准的问题,作者提出时间索引技能成功模型,用于预测给定延迟后启动技能的整任务成功率。该模型在 MuJoCo 仿真中,于 100 至 300 毫秒延迟下比静态能力模型提升 2.8 至 6.2 个百分点;在真实 UR5e 机器人上,针对注入 0.2 秒延迟的滚动球捕捉任务,该模型预测成功率与校准度优于静态模型。
推荐理由:提出时间索引技能成功模型以解决延迟下的技能选择与定时问题,在仿真与真实机器人实验中均验证了校准性。
论文介绍 TactileLab 框架,利用刚体仿真结合光流法估计接触界面的切向运动以编码剪切动力学,替代昂贵的软体物理模拟。研究提出新的策略架构处理长程本体感觉与丰富触觉观测,并开发实真翻译方法将真实触觉图像映射为仿真场。在双臂及手内操作任务中验证了该方法支持大规模强化学习训练及仿真实到现实的部署能力。
推荐理由:提出基于光流的触觉流场表示与实真翻译方法,在双臂及手内操作中验证了大规模强化学习策略的仿真实用性。
论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。
推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。
针对杂乱桌面场景中的双臂重排挑战,本文提出一种结合可移动堆叠(movable stacking)与感知间隙推转移(Gap-Aware Push Transfer)的框架,实现异步跨边界物体交换。
推荐理由:提出结合可移动堆叠与感知间隙推转移的双臂重排框架,在密集场景中优于固定交接基线。