超越下一步:世界模型引导的多智能体场景中类人导航
该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。
推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。
技术方向
世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。
574 条精选近 30 天 307 条共收录 1,758 条
该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。
推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。
论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。
推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。
针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。
推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。
推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。
上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。
推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。
论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。
推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。
World Labs 发布 Frameboy 研究预览,允许用户通过浏览器以最高 15 fps 的速率控制相机并实时探索由 Atlas 生成的 3D 场景。该演示基于高度优化的 Atlas 变体,支持从单张输入图像或文本描述生成全新视角,并可集成至 Viewfinder 应用用于构建和流式渲染自定义场景。
推荐理由:World Labs 推出 Frameboy 演示,支持以 Atlas 世界模型实现实时交互与流式帧生成。
驭势科技在CeMAT ASIA 2026展示升级后的L4级无人驾驶牵引车T30,该车型通过升降式自动脱挂钩装置实现自主倒车、拖斗挂接与脱钩,并与无人叉车协同完成装卸转运。
推荐理由:驭势科技发布升级的L4级无人驾驶牵引车T30及协同作业方案,展示了自动脱挂钩、VLM/VLA技术栈与AI编程交付平台。
戴盟近日公开了其从Daimon-Infinity中筛选出的TacClaw-Infinity触觉数据集,包含1万小时采集、100万条轨迹和10亿帧数据。该数据集支持无本体训练(Zero-Robot Transfer),在π0.5等模型上使花瓶擦拭任务成功率由50%提升至74%,且无需专用触觉架构即可利用现有策略。
推荐理由:戴盟公开TacClaw-Infinity触觉数据集及完整研究流程,验证了无本体数据在跨机器人迁移中的有效性。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
NVIDIA 发布了基于 Cosmos 世界基础模型的交互式世界模拟框架,旨在为物理 AI 训练和评估提供共享基础。该框架通过流式传输视觉观测响应动作与场景控制,支持预测动作的视觉后果及从外部模拟器维持的物理状态生成观测。演示涵盖了相机导航、机器人操作、可控视频迁移和多视角自动驾驶仿真。代码、模型检查点及项目网站已公开。
推荐理由:NVIDIA 推出 Cosmos 框架,支持通过视觉流与动作控制实现实时交互式世界模拟,覆盖相机导航、机器人操作及自动驾驶场景。
该论文提出了 HALO 系统,利用程序化生成的千个虚拟家庭合成视觉 - 语言 - 动作数据以解决人形机器人训练的数据瓶颈。HALO 习得了坐椅子、导航至命名物体、侧身过门等技能,并能编排这些技能完成复合长周期任务。系统在从未见过真实家居的训练下实现零样本迁移,在六个未建图的真实环境中进行了 360 次试验,成功率为 91%。代码与视频已公开。
推荐理由:HALO 系统通过程序化生成合成数据实现零样本迁移,在六个未建图真实环境中达到 91% 成功率。
该研究提出了 Open-HumanScale-50K 数据集及 Open-HumanWAM 模型,这是首个将以第一人称视角的人类视频预训练规模扩展到 5 万小时的完全开放方案。
推荐理由:原文给出了基于5万小时人类视频预训练的开放配方与实验结果,相关团队可据此复现并验证纯人类数据在机器人策略学习中的缩放规律。
Rui Zhu 等人提出一种基于校准的关系世界模型的方法,用于检测机器人动作满足形状与范围约束但语义错误的静默失配现象(如轴置换、符号反转等)。研究在 LIBERO Spatial 任务的离线数据上验证了该方法:通过固定逆词汇表进行闭集定位,并在保持低误报率的前提下实现了优于单一残差方法的召回率。
推荐理由:该工作提出利用校准后的关系世界模型检测机器人动作与接口语义的静默失配,在 LIBERO 任务上验证了联合评分策略优于单一残差方法。
TouchéWorld 是一个将手势驱动交互整合进相机控制视频世界模型的框架。给定初始图像和场景描述提示词,该模型基于时间对齐的相机和手部控制生成视频。研究团队通过标注补全、一致性过滤和时间对齐构建了异构第一人称视频的联合相机与手部训练数据,并在预训练的相机控制世界模型基础上,结合空间手部骨架条件与数值手部运动特征进行参数高效适配。
推荐理由:该报告提出 TouchéWorld 框架,将手势驱动交互整合进相机控制的视频世界模型中。
该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。
推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。
针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。
推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。
针对稀疏海洋观测场景,研究提出一种多机器人闭环自适应采样框架,利用单一学习到的生成式海洋模型完成预报、不确定性估计、规划及数据同化。该方法在潜在空间构建集合预报并解码至物理状态,结合可达性约束选择采样点,实验表明其 A-或 D-最优策略优于静态与随机基线,同时揭示了模型不确定性与预报误差的偏差问题。
推荐理由:提出闭环自适应采样框架,利用生成式海洋模型进行预测与不确定性估计,多机器人策略优于静态基线。
arXiv 论文 Jev-AD 结合类型化决策模型 Jev 与语言世界模型,后者预测候选动作下周边车辆未来两秒的运动以提供预见性后果。在仿真高速合流(500 车集)中,碰撞率从 26.0%降至 2.4%,自由指令意图达成率达 93%;在回放真实 NGSIM 轨迹(500 集)中,碰撞率从 48.2%降至 2.8%,世界模型能预见 93%的危险动作。
推荐理由:该工作提出语言世界模型辅助决策,在仿真与真实轨迹回放中显著降低碰撞率并提升意图达成率。