空间条件化扩散策略:利用单目 RGB 相机学习精确且鲁棒的操纵
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
技术方向
视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。
840 条精选近 30 天 569 条共收录 3,491 条
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
该论文重新审视了具身化思维链(Embodied CoT)在机器人控制中的应用。作者构建了包含 97.8 万轨迹、2.263 亿样本和 2592.5 小时数据的大型语料库,发现仅靠高层推理增益有限且显式思维链作为自回归前缀会导致误差累积。
推荐理由:该文提出 ERVLA 模型,通过训练时保留推理痕迹而推理时直接预测动作的策略,解决了显式思维链在自主生成中误差累积的问题。
LIBERO-PeRM 是一个用于具身智能体偏好学习的新基准,旨在解决通用机器人进入家庭环境时的个性化难题。该研究在仿真环境中构建了包含 312 个任务的高质量演示数据集,并提出了可自动评估的偏好满足指标体系。
推荐理由:该基准通过受控仿真区分任务完成与偏好满足,揭示当前 VLA 策略在零样本个性化上的局限及混合训练对运动学习的潜在影响。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍了 P^3-WAM,这是一个用于第一人称灵巧操作的统一世界动作模型,通过学习感知、预测和规划三种互补模式来整合 3D 动作表示与预训练视频扩散 Transformer。实验表明,统一训练在四个数据集上的 3D 手部重建、动作条件视频预测以及指令遵循度上均优于专用基线,且无需将单一任务拆分为独立模块。
推荐理由:该工作提出了统一的 P^3-WAM 模型,通过单一架构同时实现手动作重建、视觉未来预测与目标导向规划。
论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。
推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。
针对视觉预训练难以捕捉接触力与滑移等触觉信息的难题,该研究提出 Spark-0 模型,利用触觉手套数据构建 HumanTouch 数据集进行大规模预训练。实验表明,在保留触觉信号的情况下,Ego Humanoid 基准测试成功率从 52.5% 提升至 71.7%,SparkArena 真实机器人任务成功率从 44.0% 提升至 52.0%,验证了触觉作为策略输入及可缩放监督信号的有效性。
推荐理由:该工作提出 Spark-0 模型与 HumanTouch 数据集,证明在灵巧操作中保留触觉信号可显著提升视觉预训练的成功率。
论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。
推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。
arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。
推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。
论文介绍 MJev-Spatial,这是一个基于 Qwen3.5-4B 构建的 System 1 多模态决策模型,旨在解决空间关系判断、距离测量和物体定位等任务。
推荐理由:该工作提出 MJev-Spatial,通过原生注意力匹配将空间理解任务转化为分类问题,在保持高精度的同时显著提升了推理速度。
作者发布了 REKI,这是一个 2.4B 参数的视觉语言动作模型(VLA),仅使用公开数据进行预训练。该模型在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 等基准测试中表现优异,性能接近两倍大模型的规模。
推荐理由:该 VLA 在仅用公开数据预训练下,以较小规模达到接近两倍大模型的 LIBERO-Plus 等基准表现。
针对动态环境中行人遮挡导致的目标丢失问题,本文提出 VP-EVT 框架,将目标可见性作为显式运动控制目标而非跟随副产品。该方法利用语言引导感知分离目标与行人观测,结合视觉历史与本征运动维持相对位置估计,并通过循环控制器协调视角调整以恢复稳定跟踪。
推荐理由:提出 VP-EVT 框架将可见性作为显式运动控制目标,在 occlusion 场景下显著降低丢失时长并提升成功率。
该研究提出 VeriVLA,旨在解决基于噪声的 VLA 策略在测试阶段无法评估样本质量的问题。该方法采用无需训练的触发机制,利用两个初始样本测量时间变异性和跨样本方差以检测关键状态;一旦触发,便使用 JEPA 架构的潜在世界模型预测动作条件化的未来潜在状态及任务进度变化,从而对候选动作块进行排序。
推荐理由:该方法在无需训练的情况下,利用潜在世界模型对基于流的 VLA 策略进行测试时验证,将笔插入等三项真实任务的平均完成度从 50.8% 提升至 65.5%,并在仿真环境中实现稳定增益。
针对句子级图文对齐在组合式匹配中不足的局限,论文提出 Flow-CLIP 模型。该方法通过图像条件化的 token-patch 证据变化细化全局图文对齐,引入全局兼容性校准(GCC)学习句子级相似度指标,利用图像条件化证据细化(ICER)将视觉 patch 上下文融入 token 查询以调整局部匹配证据,并采用跨图像边距排序(CIMR)增强正确描述与错误描述的区分度。
推荐理由:提出 Flow-CLIP,通过图像条件化残差评分优化组合式图文匹配与属性绑定。
论文提出一种统一的 VLA 框架,通过样本级路由将训练数据分配给动作预测、基于 LAPA 的潜在动作预测或基于 DINOv3/V-JEPA/Wan2.2 的未来视觉预测。实验显示,在 LIBERO、CALVIN 及真实机器人任务中,合理的辅助监督目标组合优于仅动作预测,且未来视觉目标通常表现更佳。
推荐理由:该研究提出统一框架,证明在固定预算下分配部分样本给潜在动作或未来视觉预测优于仅动作预测。
针对现有 ROS 2 架构在切换时引入延迟并中断执行的问题,作者提出一种开源的亚毫秒级反射引擎。该框架基于增强的 ROS 2 兼容多模式控制器,通过无锁指针操作消除运行时中间件开销,实现了低于 0.1 ms 的控制模态切换延迟。
推荐理由:开源框架实现亚毫秒级控制切换,消除运行时中间件开销,为连续人机交互提供确定性低延迟方案。
论文介绍 PaRMA 审计框架与 FusionAudit 工具集,针对视觉语言模型从冻结编码器向原生架构过渡时的复杂性,定义像素扰动和渲染文本插入两类干预下的路径条件风险。
推荐理由:提出基于路径的鲁棒性审计框架,揭示原生多模态模型在像素扰动与渲染文本插入下的新脆弱点。
针对视觉语言模型(VLM)在机器人操作中推理成本高且易回避困难比较的问题,提出 SPEAR 框架将其转化为高效偏好预言机。该框架通过可区分性感知查询选择降低回避率,并利用自适应奖励过渡结合 VLM 合成引导加速探索。
推荐理由:提出 SPEAR 框架,通过可区分性查询选择与自适应奖励机制提升 VLM 在机器人操作中的效率。
论文介绍 AVALON 框架,解决服务机器人进入用户熟悉但机器人未见的未测绘建筑问题。系统通过人类播撒的分层空间记忆、节点验证的拓扑执行及任务触发的人机记忆协同更新实现导航。
推荐理由:提出基于人类播撒分层空间记忆的拓扑导航框架,在无需现场建图条件下完成室内任务,实验显示比基线节省大量时间。
针对通用视觉语言动作模型缺乏个性化与可靠执行的问题,本文提出了 CarryOn 双环框架以增强冻结的 VLA 策略。规划环通过持续结合用户偏好与场景上下文实现个性化任务选择;执行环主动监督策略 rollout 并屏蔽危险接触,在失败时调用可复用的控制恢复技能。实验表明,该系统将已安全微调 VLA 的安全违规率从 52.6% 降至 6.1%,并将故障恢复成功率从 13% 提升至 80%。
推荐理由:该工作提出双环架构,在真实机器人与仿真环境中显著降低安全违规率并提升故障恢复成功率。