RE-SAC:一种用于公交车队控制的稳定鲁棒集成 DRL 方法
论文提出 RE-SAC 框架,旨在解决标准深度强化学习算法在处理随机交通和乘客需求时因混淆两种不确定性而导致的 Q 值不稳定问题。该方法利用基于积分概率度量的权重正则化来对冲不可约噪声风险,并提供平滑的分析下界;同时通过多样化 Q-集成惩罚稀疏覆盖区域中的过度自信估计以应对数据不足风险。
论文提出 RE-SAC 框架,旨在解决标准深度强化学习算法在处理随机交通和乘客需求时因混淆两种不确定性而导致的 Q 值不稳定问题。该方法利用基于积分概率度量的权重正则化来对冲不可约噪声风险,并提供平滑的分析下界;同时通过多样化 Q-集成惩罚稀疏覆盖区域中的过度自信估计以应对数据不足风险。
论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。
推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。
Omni-RS 提出“场景引导两阶段训练”策略,利用 VAE 编码的视觉条件指导扩散 Transformer 完成图像生成。该框架支持四类理解任务及五类生成任务,并通过构建 UniGen 数据集实现跨任务联合学习。实验表明其在理解与多种生成任务上均取得优异结果,相关代码与数据暂未开放许可。
arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。
推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。
论文介绍 AffordanceWAM,这是一种基于预训练视频扩散 Transformer 的生成式世界动作模型,通过标量可交互性和热力图在生成的未来世界中表征以物体为中心的空间时间可交互性。
基于 118 个分类与 54 个检测数据集的基准测试显示,冻结 VLM 视觉塔编码器(如 Gemma-4-31B)在农业特征上线性可分,F1-macro 达 0.60--0.78。
GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。
推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。
论文介绍 BioProVLA-Agent,这是一个由 VLA 模型赋能的、用于生物实验室操作的廉价且协议驱动的多智能体系统。该系统将协议作为任务接口,整合了协议解析、视觉状态验证与具身执行,形成闭环工作流。
针对参考图像条件化视频生成器难以预测物理危害的问题,本文提出 ICAT 基准,利用结构化风险记忆和人工验证构建包含 909 个评估单元的测试集。结果显示,即便初始状态和风险动作被保留,六种主流生成系统中最强者在八选一筛选下的严重后果严格成功率仅为 23.5%,暴露了复现风险动作与生成其文档化后果之间的差距。该工作已接受 NeurIPS 2026 海报展示。
该论文提出在由强大2D基础模型(如DINOv2、SigLIP2等)导出的高维隐式3D潜空间内直接进行场景生成,以解决传统2D多视图方法存在的表征冗余和空间一致性受限问题。
推荐理由:原文提出在基于2D基础模型的3D隐式潜空间直接进行场景生成,实验验证了该方法在效率与空间一致性上的优势。
该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。
推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。
该论文介绍 Latent-WAM,一种高效的端到端自动驾驶框架,通过空间感知压缩编码器从基础模型蒸馏几何知识并将多视角图像压缩为紧凑场景令牌,同时利用因果 Transformer 构建动态潜在世界模型以自回归预测未来状态。
论文针对视频生成模型缺乏机器人可执行性约束的问题,提出 Executable Video Alignment (EVA) 框架。该方法在机器人演示数据上训练并冻结逆动力学模型(IDM)以解码动作,利用惩罚非平滑运动及违反速度加速度限制的动作空间反馈奖励,指导视频生成器的强化学习更新。
当前机器人学习受限于手工设计奖励、仿真建模或动作监督。本文提出首个仅凭任务观察(如视频)即可学习的逆强化学习方法 IRLfO,并展示了首个在真实世界中从零开始学习视觉操作及跨任务正迁移的演示。MPAIL2 模型在不到 40 分钟内从零基础学习到抓取放置任务达到 82% 成功率,而同等交互和演示预算下的强化学习与行为克隆方法分别仅达 0% 和 12%。
推荐理由:该工作提出首个基于在线世界模型的视觉操作逆强化学习方法,在真实世界中实现从观察学习抓取放置任务。
该论文提出了一种名为 MVISTA-4D 的新型具身 4D 世界模型,旨在解决现有方法仅支持纯图像预测或部分 3D 几何推理、难以预测完整 4D 场景动态的问题。
论文提出了 Actron3D 框架,旨在让机器人仅通过单目、未标定且仅含 RGB 的人类演示视频,习得可迁移的六自由度(6-DoF)操作技能。其核心思想是将视频中的操作知识表示为物体空间上的连续神经函数,即“神经功能”。
论文针对 LeWM 等潜在世界模型指出,使用环境范数(如欧氏距离)作为终端代价仅在目标附近有效,远距离会形成虚假低代价盆地导致规划失败。作者提出 Neighborhood Graph Cost (NGC),通过构建训练潜变量的互最近邻图计算流形上的最短路径距离来替代传统代价。
针对具身世界模型长时预测中潜变量演化易偏离物理演化的问题,本文提出结构化动力学框架 HWM,通过在广义坐标与动量构成的学习相空间中表示骨干潜变量,并利用耗散哈密顿动力学进行未来状态传播。
CROPS 提出一种基于 Cosserat 杆表示的端到端可微分优化框架,用于自主设计具有大变形和多物理场驱动能力的软细结构。该框架在两个案例研究中得到验证:一是设计能随颈动脉形态变化的膨胀支架,二是协同设计磁性导管剩磁与外场以减小插入力。系统同时处理自接触与外部接触,涵盖凝胶弹性体溶胀及硬磁复合材料磁致动两种机制,旨在满足个性化生物医学需求。
论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。
推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。
针对大语言模型生成的 CAD 装配体常无法实现预期物理功能的问题,本文提出 FunCAD-Harness 框架,将抽象需求转化为候选方案专用的物理测试,利用仿真反馈指导设计迭代。研究构建了涵盖 46 类机械结构的 FunCADBench 基准,实验表明该方法能发现视觉检查难以察觉的机械故障,显著优于标准仿真增强基线。
Ropedia W0 是首个涵盖人类与机器人的自中心运动操作世界基础模型。作者整理了包含 1 万小时人类数据和 3 千小时机器人数据的 Xp-Data,并引入统一运动学表征(相机姿态编码运动、投影骨架编码操作)及高质量遥操作基准 Xp-Teleop。
InfiniDream 是一个由 VLM 驱动的框架,旨在解决现有方法受限于预定义工厂和 API、难以创建新型资产的问题。该框架提出符号约束资产生成与端到端文本到世界管线,在 100 个物体及 20 个场景生成任务上提升了四项感知指标并通过了人类偏好评估。项目页面已公开,代码与权重许可状态待定,相关论文为 arXiv 预印本版本。
论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。
推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。
该论文提出 Stateful Harness 框架,旨在解决现有世界模型在处理依赖隐状态的导航任务时无法确保动作遵循持久规则的难题。框架将世界演化与视频渲染分离,在指定规则下维护演化的世界状态,并利用冻结的视频模型渲染事件以更新下一轮状态。
作者介绍 HandsOn,这是一个可组合的仿真平台与基准,旨在支持跨具身的通用灵巧操作。该平台支持五种机械臂、六种灵巧手以及约 200 个刚体、连杆和变形资产在随机化场景中的应用。
论文提出了 Unisense 框架,旨在解决具身智能系统中多模态感知受限的问题。该框架通过两阶段训练过程,首先对齐感官表征与语言以建立接口,随后在共享架构内微调特定模态专家。
针对现有视频生成模型缺乏物理合理性量化的问题,本文提出了 PVBench 基准。该基准涵盖指令语义、行为因果、几何空间、材料属性等七个领域的 46 个维度,包含 600 条精心设计的提示词(其中 30% 涉及具身智能体)。
Drive2Gauss 是一种前馈框架,旨在解决现有方法需对每个序列进行优化以从生成的 RGB 视频中恢复显式场景的局限。该框架利用多模态视频生成器预测参考多视图图像和未来控制信号下的 RGB、度量深度和动态流,并通过高斯查询解码器将深度用于初始化稀疏 3D 查询,利用流关联跨时间查询,结合时空特征聚合与迭代查询细化完成外观信息整合。
论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。
推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。
论文介绍 Holi-World 生态系统,整合了经验捕获、世界表征、自动化数据构建、模型学习与独立评估。系统通过结合静态与动态感知自动构建连接场景结构与交互历史的记录,将约 100 个自采集场景整理为包含约 80K QA 对的训练资源用于训练 HOLIWORLD-VL-4B 模型。
作者提出 ForagerSim 这一跨学科研究平台,专注于需要地图推理的具身任务,涵盖从搜救到觅食的多种场景。该平台支持感知、规模、拓扑、动力学和任务等维度的独立调节,并在八个示例世界中对比了强化学习基线、工程化机器人栈与人类玩家的表现。
论文提出了 Cartender 方法,旨在解决自动驾驶中单一日志无法监督替代可行动作的问题。该方法通过反事实分支构建匹配与不匹配的指令 - 动作对,利用视觉语言模型提出替代未来及其选择指令,并引入场景语言兼容性评分调节轨迹生成。
论文提出一种方法,利用冻结的高层世界模型预测器训练轻量级的目标条件网络,以替代传统规划中昂贵的候选轨迹搜索过程。该方法在离线轨迹上仅使用回溯目标和状态预测损失进行训练,无需宏观动作标签或搜索解的目标。
针对视频模型存在的物理幻觉问题,研究提出了二维风险框架并开发 HA-Sampler 与 HA-Scorer。该方法结合外部物理引导与生成器内部信号,在 Physics-IQ 和 VideoPhy 基准测试中优于现有采样与评分的最先进基线。相关代码与数据许可状态待 arXiv 正式注册后确认。
论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。
推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。
针对平面相机游戏(如俯视和等距视角)中动作控制依赖特征条件导致空间不一致的问题,本文提出 ActionRoPE 这一无参数动作接口,将动作驱动的光学位移直接转换为世界坐标旋转位置,使同一世界位置的 token 地址随时间保持不变。
推荐理由:提出 ActionRoPE 接口将动作转化为世界坐标,配合 CNS 调度策略,显著降低平面相机游戏世界的重访漂移并提升控制保真度。
论文提出 DISCO(Distilled Tree Search over Continuous Actions),旨在解决长视界操作任务中策略需避免误差累积并保持未来可行性的难题。
LWM 通过随机潜在状态预测与轨迹规划框架,在五个基准数据集上将高光谱图像分类准确率提升至 89.21% 至 99.52%,有效利用表示空间的结构依赖。该方法在有限标签设置下表现一致,为计算机视觉领域提供了新的无监督学习范式。
针对动态物体操作需要预测目标运动并快速重规划的挑战,本文提出了 TrajWAM 模型。该方法将未来的视觉想象显式地锚定在预测的目标 - 对象运动上,利用历史对象掩码生成编码目标轨迹的未来表示,并通过轻量级轨迹 ControlNet 引导预训练视频模型生成一致的未来表征,进而条件化动作专家以预测可执行的动作片段。