VT-MUSE:面向操作的视觉 - 触觉多模态统一序列表征学习
VT-MUSE 是一种针对视觉 - 触觉操作的多模态统一序列表征学习框架。现有方法常独立编码视觉和触觉观测后再融合,限制了捕捉细粒度跨模态依赖的能力,且大多关注当前时间步而忽视接触的时间演化。
推荐理由:VT-MUSE 框架通过跨模态时序对齐与掩码一致性学习视觉触觉联合表征,在仿真基准上超越最强基线 11 个百分点,并在真实实验中取得显著改进。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
VT-MUSE 是一种针对视觉 - 触觉操作的多模态统一序列表征学习框架。现有方法常独立编码视觉和触觉观测后再融合,限制了捕捉细粒度跨模态依赖的能力,且大多关注当前时间步而忽视接触的时间演化。
推荐理由:VT-MUSE 框架通过跨模态时序对齐与掩码一致性学习视觉触觉联合表征,在仿真基准上超越最强基线 11 个百分点,并在真实实验中取得显著改进。
论文提出行为提示范式,引入 DrawAnything 和 LIBERO-Gen 基准测试及 BPP 架构与 iPhUMI 手持接口,发现任务多样性而非演示数量是提升未见任务适应性的关键。在绘图与桌面操作任务中,该方法分别将误差降低 80.7%、成功率提升 20.8%,并开源所有组件以支持可复现研究。
推荐理由:该研究通过基准测试与架构设计,揭示了任务多样性是行为提示生效的关键驱动因素,并开源了相关组件以支持可复现研究。
该论文针对现有生成动力学模型将学习到的动力学视为固定、依赖事后代理进行分布外(OOD)检测而忽略控制不敏感导致信号抑制的问题,提出支持条件控制敏感性正则化方法。
推荐理由:针对生成动力学模型对控制不敏感导致的 OOD 检测失效问题,提出支持条件控制敏感性正则化方法,在视觉避障与真实机器人导航实验中提升了异常检测能力。
该研究针对非结构化环境中复杂动力学系统的运动规划难题,提出了一种改进的 Bidirectional Incremental Generalized Hybrid A*(Bi-IGHA*)算法。
推荐理由:论文提出双向增量广义混合 A*算法,通过分层分辨率与冻结顶点机制解决搜索耦合问题,在仿真及真实机器人系统中验证了计算效率提升。
该论文提出了一种名为 RLA-WM 的视觉特征世界模型,利用从 DINO 残差中学习的残差潜在动作(RLA)表示来预测未来状态,相比直接回归更清晰且不易幻觉。该方法在仿真和真实数据集上优于最先进的视频扩散模型,速度提升数个数量级。
推荐理由:提出基于残差潜在动作的世界模型,在仿真与真实数据集上优于现有方法,并展示了提升策略学习的两项机器人技术。
针对长时程任务中精确控制与动态全身行为难以兼顾的挑战,本文提出 BAT 框架,利用 OpVQ-VAE(基于运动 token 的泛化预测)和 OpHRL(闭环状态感知预测),通过 Token-Familiarity Router 根据上下文动态切换控制器。该方法在已见长时程动作组合上达到 85.2% 成功率,未见动作保持 71.3%,并在 Unitree G1 人形机器人上实现零样本部署。
推荐理由:提出 BAT 框架,通过在线策略切换融合耦合与解耦控制器,在 Unitree G1 上实现长时程全身控制的鲁棒性与泛化性。
针对现有机器人基础策略在长周期任务中因分布偏移和误差累积而表现不佳的问题,该研究提出 VLLR 框架。该方法结合大语言模型(LLMs)与视觉语言模型(VLMs)生成外显奖励以识别任务进度,并利用策略自确定性提供内隐奖励指导强化学习微调。
推荐理由:该工作提出 VLLR 框架,利用大模型分解任务与视觉语言模型初始化价值函数,结合策略自确定性奖励,在无需人工设计奖励的情况下提升长程任务的泛化成功率。
论文提出了 SimToolReal 框架,旨在解决机器人灵巧工具操作难题。该方法通过在仿真中程序化生成大量工具类原语,训练单一强化学习策略以实现通用目标位姿操作,无需针对特定对象或任务进行额外训练。
推荐理由:提出 SimToolReal 方法,通过仿真生成工具原语实现零样本灵巧操作,在真实世界多任务中优于现有基线。
论文介绍 LHM-Humanoid 方法,旨在实现物理仿真中无需重置的连续长视界物体搬运任务。该方法通过两个控制器协作,学习将每个周期的终端状态引导至可恢复区域,从而解决端到端强化学习在非常规姿态下失效的问题。实验显示,在跨越四种房间类型的 350 个杂乱布局场景中,该方法在已知和未知场景下的成功率和稳定性均优于端到端 RL、分层 RL 及先前的物理仿真方法。
推荐理由:该工作提出 LHM-Humanoid,通过学习释放与后退行为解决长视界连续搬运中的状态切换难题。
论文介绍了 QF3(Fast Flow RL with Filtered Q-Gradients),这是一种在线离线强化学习算法,用于训练流匹配策略以改进预训练行为或从零开始学习机器人动作。
推荐理由:该工作提出 QF3 算法,实现了对流匹配策略的在线离线强化学习训练,并在人形移动和抓取任务上验证了从演示到硬件的零样本迁移能力。
针对预训练机器人策略在部署时面对分布外条件性能下降的问题,该研究提出 PEARS 框架,利用视觉语言模型编码的物理先验诊断失败原因并更新接触力边界,同时通过触觉条件的扩散引导调整冻结策略的潜在噪声以修正运动与接触时序错误。
推荐理由:该工作提出结合物理先验推理与扩散引导的策略适应框架,在触觉操作任务中显著降低试错成本并提升成功率。
针对现有视频世界模型缺乏一致 3D 几何的问题,作者提出一种结合学习到的立体深度与联合因子图的校准流程,从同一物理机器人收集的数据集中恢复共享运动学参数及场景外参。
推荐理由:论文提出结合立体深度与因子图的校准流程,构建支持多视角几何推理的 3D 世界模型。
论文介绍 RIWANav 框架,将世界模型与动作模型(策略)的联合适应定义为任务特定的递归自改进过程。该框架交替进行两轮更新:世界模型通过预测候选动作的视觉后果提供想象反馈以优化策略;改进后的策略构建基于行为新颖性和预测误差的自我课程,筛选专家一致的动作 - 视频对。实验表明该方法优于基线及现有方法,真实世界测试也验证了其实际适用性。
推荐理由:提出 RIWANav 框架,通过策略与世界模型的递归自改进循环解决长程导航误差累积问题。
论文介绍了 WareFly-VLA,这是一个用于智能仓库中语言引导的人体搜索、定位和跟踪的光真实感无人机 VLA 框架及数据集。该数据集包含 507 次人工遥操作飞行片段和 8,504 个高分辨率 RGB 过渡帧,均在 NVIDIA Isaac Sim 中采集,并配有人工撰写的目标外观描述与同步的四自由度控制指令。
推荐理由:该工作填补了仓库环境下无人机语言引导控制的基准空白,揭示了当前基础模型在空载平台迁移的局限。
针对视觉语言动作(VLA)策略频繁调用推理导致的高能耗问题,该研究提出 ActTune 框架,通过层间精度分配与基于负载的 GPU 工作点选择来优化能效。该方法利用轻量决策树从配置误差中学习,在每次策略调用前选择最佳精度,并异步应用校准后的 GPU 工作点以控制延迟预算。
推荐理由:ActTune 框架通过感知动作的量化敏感度与动态调整 GPU 工作点,在保持任务成功率的同时显著降低能耗并提升推理速度。
针对协作操作中依赖用户指令的局限,本文提出一种事件驱动的主动协助框架。该框架通过监测工作区状态变化提取前后快照,利用预训练视觉语言模型推断任务上下文并生成可执行的辅助动作序列。实验在三个真实桌面协作任务中验证,无需特定训练或微调即可达到与用户指令版本相当的性能。
推荐理由:提出事件驱动框架,利用冻结 VLM 在无需微调下实现主动协作辅助。
该论文提出 CoRP(Compressed Representation Policy),这是一个仅含 48.9M 参数的紧凑策略模型,不包含视觉语言模型或视频生成先验。
推荐理由:论文提出 CoRP 紧凑策略,证明预训练视觉表征与压缩机制比参数规模更关键。
针对非结构化环境下类人机器人需结合全身控制与物体交互的挑战,该研究提出 iGPC 框架,将生成式预训练控制器(GPC)从通用人体动作扩展至具身环境交互。通过引入基于场景线索和特权状态信息的交互专家,学习特定接触行为如抓取支撑物稳定或推移动物体;随后利用车载感知输入驱动学生网络蒸馏这些交互技能。实验表明,大规模生成式人体运动先验为在接触丰富的真实环境中学习可部署的类人机器人交互策略提供了有效基础。
推荐理由:该工作将生成式人体运动先验扩展至具身交互,通过感知驱动的学生网络蒸馏专家策略,在接触丰富的真实环境中学习可部署的交互策略。
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
该研究针对电动汽车通过再生制动回收能量的特性,对比分析了四种控制器(NMPC、PPO、PID-SF 和 Stanley)在统一运动学模型下的表现。作者使用 JIT 编译的 CasADi 实现 NMPC 以满足实时性要求,并训练 PPO 策略使其能直接迁移到未见的赛道(如 ISO 3888-1 变道、发卡弯及随机参数样条曲线)以及动态单轨车辆模型。
推荐理由:本文对比了 NMPC 与 PPO 等控制器在电动汽车路径跟踪中的表现,验证了基于强化学习的策略在无微调情况下对动态车辆模型及复杂路况的零样本迁移能力。