Thinker-WM:一种用于具身智能的统一多模态世界模型
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
技术方向
机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。
1,139 条精选近 30 天 643 条共收录 4,549 条
Thinker-WM 是一种统一的多模态世界模型,通过共享中间层 Unified Dynamics Transformer 联合建模并生成 RGB、度量深度和机器人动作。
推荐理由:Thinker-WM 提出统一多模态世界模型,在共享动力学表示下联合生成 RGB、深度与动作,并在 EWMBench 等基准中表现领先。
论文介绍 EmbodiedEvo 框架,这是一种通过程序化机器人接口观察场景、执行控制并适应物理状态的自进化编码智能体。该方法将交互与推理预算转化为可复用的代码技能(Skills)和诊断教训(Lessons),在不更新模型权重的情况下冻结经验以支持未见场景中的独立智能体。
推荐理由:该工作提出无需微调的自进化编码智能体,将物理反馈蒸馏为可复用技能与诊断教训,在仿真环境中实现经验跨场景迁移。
论文提出 ILA(Interaction Latents as Actions)方法,通过可解码的交互潜变量联合捕捉运动、接触和力的演化过程,将其作为策略动作单元。
推荐理由:该工作提出用交互潜变量统一编码运动、接触与力演化,支持预训练 VLA 的后训练及从头训练流匹配策略。
针对现有类人机器人行为基础模型在执行运动时存在指令执行偏差的问题,该方法提出了一种无需重新训练即可通过测试时计算来改善执行的策略。首先引入测试时命令优化技术,利用闭环仿真对基础模型和机器人动力学进行基于采样的优化,从而调整输入命令以生成更接近期望轨迹的执行结果;在 AMASS 数据集上的三个基础模型实验中,该方法将平均全身位置误差降低了 79% 至 84%。
推荐理由:提出无需重训即可通过测试时计算优化命令以缩小执行偏差,并在仿真与真机上验证了提升全身定位精度的有效性。
RealityBench 是一个在 Blender 中构建的包含十一类物理工作环境(如屋顶太阳能安装、车辆维修)的评测基准,旨在评估视觉语言模型记录人类体力工作的能力。
推荐理由:该研究在 Blender 中构建了十一类物理工作场景,对 26 个 VLM 模型进行文档化能力评测,揭示了其在读取测量值和判断空间关系上的短板。
针对手形差异和接触动力学导致的人类动作迁移失败问题,该研究提出 FoLD 框架,通过计算补偿力场生成力先验来指导残差策略适应任务接触需求。实验在公开基准测试中一致优于最先进基线,并在真实灵巧机器人平台上成功验证了人类操作技能向机器执行的转移。
推荐理由:FoLD 框架通过显式力引导将人类演示迁移至灵巧机器人,在公开基准测试中优于现有基线并在真实平台上验证成功。
论文提出 TrAct 框架,利用视觉轨迹作为机器人控制与视觉预测之间的通用接口。该框架包含联合预测动作与轨迹的 VLAT 模型、基于轨迹的世界模型 TWM 以及用于评分的奖励模型 VLAC。
推荐理由:提出 TrAct 框架,利用视觉轨迹作为控制与预测的中间接口,在仿真和真实操作任务上显著提升了成功率。
FACT 是一种因果世界 - 动作模型,通过以执行动作为条件预测未来视频和任务进度,将失败演示转化为有效的未来目标而非丢弃。该方法使进度预测器能感知成功与失败结果,并可选用于推理时打分采样动作候选。仿真与双手动操作实验表明,FACT 优于现有基线,随失败数据纳入训练而提升,且降低了坏动作下的未来幻觉。
推荐理由:FACT 方法让因果世界模型能利用失败演示监督动作后果,减少坏动作下的未来幻觉。
论文提出 CoPark 方法,解决高精度泊车与多智能体安全交互的目标冲突。该方法结合预计算离线动作先验与残差策略头,利用伙伴威胁信号动态分配纵向与横向控制权重,并在闭环层修正离散化误差。
推荐理由:提出基于残差策略的自博弈强化学习方法,在多个停车场基准上实现高几何精度泊车并涌现交互行为。
LEGS 是一种混合仿真器,将网格前景(机器人、物体)叠加到由手持拍摄重建的逼真 3D 高斯泼溅背景上。该系统利用程序化运动原语生成器在无人工遥操作的情况下合成带标签演示,并通过两阶段色彩校准对齐渲染与部署相机。
推荐理由:提出 LEGS 混合仿真器,利用程序化生成与高斯泼溅背景替代遥操作数据,在 Unitree G1 上实现无需人工演示的策略训练。
论文介绍 SnapFlow 方法,旨在解决流匹配视觉语言动作模型(如π0.5)因多步积分导致的高延迟问题。该方法混合局部流匹配监督与捷径样本,利用模型自身的两步欧拉终点作为目标,并添加零初始化投影层,无需独立教师网络或评论器即可实现一步生成。
推荐理由:该工作提出无需额外教师网络或评论器的自蒸馏方法,将流匹配 VLA 的推理步数从十步降至一步。
该论文提出了 Schrödinger's Navigator,一种信念感知的零样本物体导航框架。该方法在推理时利用轨迹条件化的 3D 世界模型对多个潜在未来进行想象,维持场景实现的叠加态而非单一地图映射。
推荐理由:提出信念感知的导航框架,利用轨迹条件化的 3D 世界模型想象多未来以解决遮挡场景下的零样本目标导航问题。
论文发现对视觉语言动作(VLA)模型进行剪枝会导致严重的性能下降和安全违规增加。基于光谱分析揭示的权重结构特性,作者提出 GLUESTICK 方法,通过在稠密与剪枝模型间插值计算一次性校正项,在推理阶段恢复被剪枝层的性能。该方法无需额外训练且对剪枝算法无关,能在保留稀疏性优势的同时,将成功率恢复至接近原始水平并提升推理速度。
推荐理由:针对剪枝导致 VLA 模型性能骤降与安全违规的问题,提出无需额外训练的 GLUESTICK 后处理恢复方法。
预训练视觉语言动作模型(VLAs)常在不熟悉的长周期任务中途失效,现有递归自我改进方法要么无法补充缺失的运动能力,要么在持续失败时盲目重训执行器。本文提出 AdaRSI 框架,由编码智能体先提升技能与工具集,再对保存状态下的失败子步骤进行重试以归因错误来源,仅微调仍不可靠的子步骤并复用过往经验。
推荐理由:提出 AdaRSI 框架,通过按需微调子步骤解决预训练 VLA 在长任务中的失效问题,在无人类演示下将 RoboCasa365 未见复合任务成功率从 4.6% 提升至 13.8%,且仅消耗 28% GPU 时间。
现有机器人策略记忆通常随观测序列演化,隐含地将每次更新视为相同的物理时长,忽略了相同观测历史可能跨越不同持续时间并需不同动作的事实。本文提出 Temporal Flow Policy (TFP),通过学习记忆动力学来保留过去事件并在测量的时间间隔内演化记忆状态。
推荐理由:提出将物理时间作为机器人策略记忆的关键维度,通过引入时间流机制提升在需要时序与记忆的物理操作任务中的成功率。
该论文提出 Graph-Reweighted Behavior Cloning (GR-BC) 框架,用于解决长程精确操作中混合质量数据的利用问题。方法构建任务条件化的目标可达性图,通过反向图搜索计算剩余步数并据此对动作片段进行后果加权,从而复用失败轨迹中的可恢复段并将人类干预作为恢复路径。
推荐理由:提出图重加权行为克隆框架,利用人类干预数据提升长程操作成功率。
该论文提出一种分层分辨率体素映射机制,将 LiDAR 数据同时整合为两种分辨率:机器人当前计划走廊内采用精细分辨率,其余区域采用粗糙分辨率。与传统导航管线不同,该方法建立反馈回路,让规划过程动态指导信息在不同叶节点的整合。
推荐理由:提出分层分辨率体素映射机制,在保持路径规划成本的同时显著降低存储与计算开销。
针对复杂动态环境中长视界多臂任务的安全在线执行难题,本文提出一种新的分布式动态高斯信念传播(DD-GBP)方法。该方法通过并行局部推理直接规划关节空间轨迹,利用统一的高斯过程参数化连接自适应规划视界、插值时间因子与连续执行。
推荐理由:提出分布式动态高斯信念传播方法,在四臂多目标动态场景中实现 92.5% 无碰撞完成率,并具备实时性与抗通信干扰能力。
该研究挑战了机器人基础模型必须使用连续向量表示动作的共识,通过从头训练的单任务和多任务 VLA 在仿真与真实硬件上的广泛对比发现,即便是最基础的均匀分箱量化等离散动作预测方法,其任务成功率也能匹配或超越连续动作策略。
推荐理由:论文通过仿真与真实硬件实验,论证离散动作预测在任务成功率上可匹敌甚至超越连续动作策略,并指出其核心挑战在于分布分解误差而非精度。
作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。
推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。