基于数字孪生的 Real2Sim2Real:通过成对驾驶场景重建实现仿真条件生成
该论文提出 Digital Twin-Driven Real2Sim2Real (DT-R2S2R) 流程,旨在解决基于摄像头的自动驾驶感知在部署新区域时依赖大量标注数据的成本问题。
该论文提出 Digital Twin-Driven Real2Sim2Real (DT-R2S2R) 流程,旨在解决基于摄像头的自动驾驶感知在部署新区域时依赖大量标注数据的成本问题。
该论文提出一种基于查询的成本学习框架,用于端到端自动驾驶规划。该方法通过紧凑的联合场景令牌捕捉多模态智能体未来,利用感知到的应急成本聚合和成本引导的 MPPI 混合将学习到的成本拓扑转化为可行自车计划。
针对非结构化环境下类人机器人需结合全身控制与物体交互的挑战,该研究提出 iGPC 框架,将生成式预训练控制器(GPC)从通用人体动作扩展至具身环境交互。通过引入基于场景线索和特权状态信息的交互专家,学习特定接触行为如抓取支撑物稳定或推移动物体;随后利用车载感知输入驱动学生网络蒸馏这些交互技能。实验表明,大规模生成式人体运动先验为在接触丰富的真实环境中学习可部署的类人机器人交互策略提供了有效基础。
推荐理由:该工作将生成式人体运动先验扩展至具身交互,通过感知驱动的学生网络蒸馏专家策略,在接触丰富的真实环境中学习可部署的交互策略。
论文发现世界动作模型(如 Cosmos 3)在真实人形机器人上存在视频渲染合理但动作预测失准的问题,原生动作在预抓取、抓取和搬运任务的成功率仅为 17%、10% 和 7%。
推荐理由:针对世界动作模型在真实机器人上的视频 - 动作不对称问题,提出无需遥操作的自蒸馏方法,显著提升了预抓取与抓取成功率。
论文介绍 IronMan 框架,利用信息瓶颈原则抑制无关视觉细节以增强策略泛化能力。实验显示其在 LIBERO 任务上达到 99.0% 成功率,在 RoboTwin clean2clean 上为 79.4%,且在分布外偏移下仍优于最强基线。材料仅包含预印本摘要与链接,未提供代码或部署许可信息。
论文提出 Consequence-Aware Adaptive Action Chunking (CA$^3$C) 框架,解决动作分块策略中执行步长固定的问题。
论文介绍 Self-supervised Adaptation from Leftover Trajectories (SALT) 方法,利用未执行的动作片段作为自监督信号进行测试时自适应,无需标注或专家演示即可在视觉干扰下保持策略稳定。实验显示该方法在 LIBERO-10 基准上显著提升了 SmolVLA 和 GR00T N1.7 的成功率,并在真实机器人实验中提高了任务进度。
论文介绍 OpenWAM 框架,基于 Wan2.2-5B 在超 10,000 小时视频上进行因果机器人 - 视频预训练,并集成动作专家支持多种生成模式。实验显示该框架在 LIBERO 套件和真实双手任务上取得高成功率;反事实监督将逆动力学模型在测试集上的平均成功率从 47.0% 提升至 84.0%,并将前向动力学的结果识别率从 21.1% 提升至 71.3%。
推荐理由:该工作提出开源框架 OPENWAM,通过因果预训练与可配置架构统一对比不同交互设计,并验证了反事实数据对动力学模型的提升。
针对高维动力学与非凸环境下的受限运动规划挑战,该方法将主动约束几何转化为可执行的去噪算子,并通过自适应扩散调度解耦生成传输与反向随机性。实验表明,其在四足和双足机器人的离散落脚点选择及连续姿态规划任务中,相比现有模型基扩散方法取得了更高的成功率、更少的违规次数以及更好的执行兼容性。
针对大语言模型在长程任务中空间上下文捕捉不足及 Token 成本高的问题,该研究提出 OntoPlan 框架。通过构建对齐对象、空间、关系和状态的共享符号词汇表进行本体论 grounded 场景表示,结合选择性信息检索与目标形式化能力,实现指令解释与可执行计划生成。
推荐理由:该工作提出基于本体论的场景表示与代理框架,在长程任务中显著降低 Token 消耗并提升成功率。
PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。
推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。
本文研究如何在世界模型的潜在空间中实现鲁棒决策。针对传统显式动力学难以定义潜在空间扰动的挑战,作者提出将扰动视为对已学习潜动力学的修正,通过结合感知动力学相似性的指标与分布外检测来构建合理的潜在动态集合,并利用共形预测校准不确定性集。
针对自动驾驶与机器人领域建模三维场景及其随时间演化的需求,本文提出了 GeoWM,一种直接预测未来场景几何的世界模型。该方法利用几何基础模型将观测到的 RGB 帧转化为几何历史,并以此条件化流匹配 Transformer 来预测指定未来时步的几何结构;同时引入轻量级相机运动预测器估计未来视点,并将观测几何投影至该视点以提供有效的几何先验。
论文研究了视频世界模型在无法直接观测物体时的信息保持能力。实验发现冻结的 V-JEPA 2 预测器仅能部分保留静止物体,无法保留容器内移动物体,且移动物体痕迹在 0.3 秒内消失;而编码器本身可解码封闭容器内容达 3.5 秒。
推荐理由:该文通过冻结 V-JEPA 2 预测器与编码器表征对比,揭示了视频世界模型对隐藏物体的保持能力差异及训练引入先验的可行性。
针对自回归模型在行为树决策中存在的延迟问题,该研究提出 SharedKV-BT 方法,利用共享 KV 缓存并行评分候选动作并分离执行系统。实验显示,该方法在机器人操作、移动导航和计算机使用任务上,推理速度比提示匹配自回归解码快 2.36-4.15 倍;在操作任务中,节点本地 Shared-KV 将联合决策准确率从 75% 提升至 94%,闭环成功率从 0% 提升至 60%。
推荐理由:该工作提出 SharedKV-BT,通过节点本地类型化决策与并行评分,在机器人操作等任务上显著提升了行为树智能体的推理速度与闭环成功率。
针对基础设施缺失环境下的多机器人任务,本文提出一种完全分布式的框架,用于构建和动态维护通信网络,无需集中式拓扑规划或全球定位设施。系统仅依赖局部交互,通过重构本地网络拓扑和调整物理位置来最小化整体网络长度并满足通信约束。
该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。
推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。
论文提出了 BRACE 方法,旨在解决现有全身跟踪器无法同时处理物体交互力和复杂地形的局限。该方法将施加的力和地形坡度直接融入参考信号中,通过足点和质心调整实现地形顺应,并利用手位移产生的力与质心变化进行解耦补偿。
该论文提出了 Artemis 模型,旨在解决现有视频世界模型在跨视角一致性、恢复视野外智能体及处理动态背景方面的不足。该方法通过从多智能体观测重建显式的 3D 世界地图来统一状态,并开发动作引导的几何注入模块以区分受控前景与不受控背景动力学。研究构建了基于 CARLA 仿真器的 MA-CARLA 数据集,实验表明其在视觉保真度和跨视角一致性上优于现有方法,且支持多模态生成及多智能体、多相机场景。
该论文提出 LEAP(Latent Encoding with Aligned Privileged Geometry)框架,旨在解决利用额外几何信息指导 RGB 视觉运动策略学习时存在的本体感觉捷径、主导视角依赖及重建目标无关等局限。
推荐理由:LEAP 框架通过引入辅助解码器与腕部视角丢弃策略,解决了特权几何监督的三大局限,在 RoboTwin 等基准上显著优于 Diffusion Policy 和 ACT。
该论文提出了 ACG-WAM 及其辅助目标 ACG-JEPA,旨在解决世界动作模型缺乏显式几何后果监督及视觉特征含未来信息的问题。该方法利用冻结的 VGGT 编码作为目标,从当前观测和中间动作预测多个时间步的几何特征,并应用于头部与手腕相机。
针对多层级场景中长视界决策导致的稀疏奖励问题,本文提出一种基于模块化框架的诊断性研究。设计分层分解策略将全局策略解耦为楼层内探索策略和楼层间切换策略,并通过蒸馏视觉语言模型的探索逻辑来初始化轻量级楼层内策略。理论分析表明在理想假设下该分解策略与单一全局策略等价。实验结果显示感知性能和爬梯稳定性是多层级导航的主要瓶颈。
推荐理由:该文提出分层分解框架,通过蒸馏视觉语言模型初始化策略,诊断多层级导航中的感知与爬梯稳定性瓶颈。
针对现有视频世界模型视觉逼真但物理不一致的问题,该研究提出 World Models' Last Exam in Physics 基准,涵盖力学、光学等四大类共 40 个受控任务。实验显示八款生成模型在 1280 个视频中最佳得分仅 57.76/100,且存在显著差异。该测量型评测无需参考视频即可解释物理关系,为诊断不一致性提供了可验证依据。
VeriFine 是一个代理驾驭框架,旨在解决具身推理中因固定评估器限制而导致的自我改进瓶颈。该框架通过策略与评估器的协同进化实现可扩展验证:利用评分标准诊断失败并构建自适应课程;在进展停滞时,选择性地查询人类指导以校准评估器,使其收敛于物理推理目标。实验表明,该方法能在强化学习和监督微调中持续提升策略与评估能力。
推荐理由:提出 VeriFine 框架,通过策略与评估器的协同进化解决具身推理中的自我改进瓶颈。
EmbodiedSmith 是一个用于可扩展具身数据生成的框架,通过递归自我改进(RSI)循环统一了资产、场景和任务生成。其核心代理细化机制使场景生成都能预判下游任务需求,同时任务生成指导针对性场景编辑,实现两者迭代优化以提升长程任务成功率。
论文提出 Attacca 方法,旨在解决现有视觉目标条件策略在孤立交互评估下无法适应连续长视界任务的问题。该方法通过在完整搜索 - 交互轨迹上训练、使用解耦的目标图像采样以及引入行为阶段(搜索、接近、交互)条件化来增强策略的泛化与执行能力。实验显示,Attacca 在 Minecraft 环境中实现了 39.0%-47.5% 的纯净成功率,长视界任务完成度最高达 54%,相比最强基线提升显著。
该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。
推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。
波士顿动力宣布任命前亚马逊高级副总裁兼首席科学家 Rohit Prasad 为新任 CEO,接替 Robert Playter。Prasad 将负责加速公司的物理 AI 战略,结合机器人技术与先进 AI 能力以规模化商业化智能机器。
该论文研究了时间步加权对基于 ELBO 的流匹配强化学习性能的影响,发现有效的加权方案依赖于奖励景观和学习阶段。通过受控图像生成与机器人实验,揭示了跨噪声水平的奖励驱动更新模式及训练过程中的梯度协调动态。研究提出并验证了简单的静态加权、预算化配置选择及动态调度等策略,证明其能超越常规目标选择效果,为流匹配强化学习提供了重要的设计依据与新视角。
推荐理由:本文揭示了时间步加权在基于 ELBO 的流匹配强化学习中的关键作用,提出其效果取决于奖励景观与学习阶段,并验证了动态调度策略优于常规配置。
论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。
推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。
针对多模态大模型在长音频视频理解中面临的上下文窗口受限与信息冗余瓶颈,本文提出 AVOC 框架。该框架在模态编码器与 LLM 骨干之间引入可学习的 Token 压缩模块,将压缩任务重构为 Top-K 检索问题,依据相关性、重要性和多样性三个标准筛选关键信息单元。
Flash-WAM 是一种模态感知的步骤蒸馏框架,旨在解决世界动作模型(WAMs)在联合视频与机器人动作生成中因噪声分布不对称导致的传统蒸馏失效问题。该方法为动作流采用线性梯度缩放参数化以匹配低噪声 regime,同时为视频流保留方差以保持高噪声 regime 的稳定性。
推荐理由:针对多模态蒸馏在联合视频 - 动作生成中的失效问题,提出模态感知的单步蒸馏框架 Flash-WAM。
arXiv 论文介绍 PROWBench 基准,包含 170 个程序化构建的剧集和 600 个代理视频,涵盖多样场景与交互。该基准记录实体状态和时间戳事件(包括视野外),支持回放世界记录和同步多视角渲染(如粗粒度 3D、边界框)。基于这些记录,PROWBench 评估实体控制、长程记忆,并利用两个基于 VLM 的指标(逻辑 - 渲染对齐度与交互成功率)检验对规定时间线和引擎记录事件的视觉实现。
UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。
推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。
论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。
推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。
针对 VLA 系统通过预测 RGB 再编码的间接接口问题,本文提出 Token-World,一种在 VLM visual tokens 压缩空间中学习未来动态的动作条件世界模型。
Magic-W0 是一种世界 - 动作基础模型,旨在弥补现有方法缺乏与控制紧密耦合的结构化世界表征的不足。该模型将交互定义为包含当前状态、过渡和未来状态的 Structured World Transition,其中当前状态结合视觉语言上下文与三维几何,过渡由捕捉动作诱导变化的三维运动表示,未来状态则由描述任务相关结果的未来语义表示。
推荐理由:该工作提出将结构化物理状态演化与连续动作联合建模的架构,在仿真基准上取得领先分数并验证了下游泛化能力。
该论文介绍 DeCoPrune,一种无需训练的自回归视频扩散模型 KV-Cache 压缩方法。该方法将缓存压缩视为去噪一致性问题,利用中间预测与最终去噪值的差异度量 token 的去噪难度,保留高差异 token 以维持长程信息并剪枝低差异 token。
针对视频世界模型仅间接评估预测能力的现状,本文引入基于 62 次真实自由落体录制和 124 个片段的事件锚定评估协议,分离后果生产、时间定位与物理实现。结果显示 Runway 和 Veo 虽能生成事件但常延迟发起,Cosmos-Predict-2.5 和 MAGI-1 则难以产生可测量后果;人类研究进一步揭示在合理延续中存在真实歧义。
论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。
推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。