IntactWorld:一种基于完整特征的联合世界建模架构
该论文提出了 IntactWorld 架构,旨在解决现有视频生成模型缺乏真实世界逻辑理解及特征压缩导致结构信息丢失的问题。该方法通过在中间层预测干净特征以消除优化瓶颈,并引入全到紧凑训练范式,用精炼的 CLS token 替代原始完整特征,使空间显存消耗降低 11.4%,推理延迟减少 43.8%。
该论文提出了 IntactWorld 架构,旨在解决现有视频生成模型缺乏真实世界逻辑理解及特征压缩导致结构信息丢失的问题。该方法通过在中间层预测干净特征以消除优化瓶颈,并引入全到紧凑训练范式,用精炼的 CLS token 替代原始完整特征,使空间显存消耗降低 11.4%,推理延迟减少 43.8%。
论文提出了 VGGTWorld-VLA,作为 VGGT-World 的意图条件化扩展,旨在解决现有方法在自动驾驶中未来演化对驾驶意图和动作依赖不足的问题。研究引入了动作 - 语义条件机制,将互补的驾驶语义与自车运动表征注入未来 token 流,使同一观测场景在不同自车动作下产生不同的未来几何预测。
针对基于视觉的机器人操作强化学习样本效率低的问题,本文提出 FOCUS 框架,在单阶段 PPO 训练中利用特权状态信息加速学习,并通过 KL 散度调节演员策略收集数据的模态(RGB-D 或特权状态潜变量)。实验显示,该方法在五个操作任务上将平均测试成功率从 0.71 提升至 0.93,预算归一化训练成功 AUC 从 0.47 提升至 0.65。
针对杂乱和受限环境中的自主导航问题,本文提出路径创意导航(PCN)范式,要求机器人在移动的同时与环境进行具身交互以开辟路径。研究构建了一个无地图框架,整合视觉与激光雷达里程计信息,利用可通行性感知决策方法判断障碍物是否可操作并安全绕过。
论文提出 AffordDrive3D,一种结合动作相关性(affordance)与几何感知的世界 - 动作模型。该工作利用视觉语言模型(VLM)骨干预测可行驶区域和碰撞关键区域,同时从 RGB 世界模型潜在变量预测未来几何结构。
论文提出了 Fluid-Gen-Zero 框架,这是一种无需训练的、具备物理意识的流体 - 物体交互视频生成方法。其核心思路是将运动动力学委托给物理模拟器,同时保留预训练视频生成器的外观建模能力。
该研究针对机器人本体多样性导致的世界模型难以跨形态泛化的问题,提出了基于潜在动作条件的机器人世界模型(LAC-WM)。该方法在统一的潜在动作空间内运行,相比显式动作条件模型(EAC-WM),能显著提升下游灵巧操作任务及 LIBERO 基准的性能。
推荐理由:提出基于潜在动作空间的机器人世界模型,在跨形态泛化与下游任务性能上优于显式动作条件模型。
论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。
推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。
论文 TAPNAV 提出一种不依赖视觉的触觉主动感知框架,用于解决人形机器人在视觉受限环境下的导航难题。该方法结合本体感觉里程计、IMU 与触觉接触观测维持位姿信念,将不确定性感知的全局路径规划与信息增益驱动的局部探测相结合,并通过全身控制器协调运动与末端执行器接触以执行导航和探测动作。
论文介绍 Masked Generative Motion Planning (MGMP),该方法利用几何引导的令牌搜索将轨迹生成从局部连续优化扩展至离散结构修复,在 Kuka 和 Ring Maze 任务上分别实现 82% 和 96% 的成功率。
推荐理由:提出 MGMP 方法,将生成式规划扩展至结构修复,在 Kuka 和 Ring Maze 任务上显著超越最强基线。
论文介绍 SpatialOPSD,一种基于策略的自我蒸馏框架,旨在让多模态大语言模型(MLLM)将外部工具生成的已验证执行痕迹内化为内部的空间思维链(CoT),从而摆脱对推理时外部依赖的开销。该方法利用重复掩码与不似然正则化来缓解特权信息泄露问题。实验表明,在空间及分布外数据集上,SpatialOPSD 的平均准确率优于监督微调(SFT)和 GRPO,展现出更强的性能与泛化能力。
论文提出了 DreamTrue,这是一个支持跨具身、多视角的机器人世界模型,旨在实现高保真的视频预测与物理合理性。针对现有数据集校准不精确及失败交互覆盖不足的问题,该方法将动作轨迹渲染为图像空间条件并进行离线几何校准,同时引入反事实后训练以扩展交互范围。
推荐理由:该工作提出通过几何校准与反事实后训练提升多视角机器人世界模型的行动保真度,在 AgiBot 挑战赛中表现领先。
论文提出 ViSkill 框架,将成功交互编码为可直接被视觉语言模型访问的复合视觉技能卡片,构建技能积累与策略优化的闭环反馈机制。在 Sokoban、FrozenLake 和 PrimitiveSkill 任务上,该方法整体成功率达 0.89(冷启动初始化下为 0.91),优于所有评估过的专有及开源基线且收敛更快。代码已公开于 GitHub。
论文介绍 OneSearch-VL 模型,这是一个以 Visually Grounded Evidence Graph (VGEG) 为核心的统一多模态深度研究智能体。
针对现有单智能体或粗粒度动作的世界模型局限,本文提出 Multi-agent Egocentric World Model (ME-World),通过联合去噪多个自中心流并共享环境记忆,实现多智能体在共享环境中的细粒度交互与状态更新一致性。
Hugging Face Daily Papers 转载了论文 AgentGarten,提出一种将仿真器与游戏引擎通过共享神经渲染器耦合的框架,以构建支持实时交互且状态一致的虚拟环境。
论文介绍 SuperNav,这是一个无需对多模态大语言模型进行导航特定微调的代理导航系统。该系统通过专用代理框架赋予预训练 MLLM 理解请求、感知场景和决策的能力,并将运动执行委托给导航工具。
论文指出循环 Transformer 随迭代次数增加会出现推理精度下降现象,提出 InfiLoop 架构利用内容加权与学习到的时间衰减机制保留有用中间状态并抑制不可靠提议。在 Sudoku-Extreme 任务上达到 97.9% 精确准确率,并在 ARC-AGI-2 任务上取得 13.6% pass@2 分数。代码已开源。
NVIDIA 开发者利用 GPT-6 Astra 等前沿模型结合 Omniverse 库,通过自然语言指令构建可编辑的 3D 资产、测试机器人拆解及数字孪生场景。实验涵盖使用 Houdini 与 Isaac Sim 生成动画、在 Onshape 中配置 CAD 模型以及分析燃气轮机工况,实现了从概念到仿真应用的快速转化。
论文介绍了 RSI-Anything,这是一个构建于 JEPA-Anything 之上的通用框架,利用预测世界模型指导行动与学习数据选择。在代码修复任务中,固定编码器的情况下,通过预测选择和世界模型适配将成功率从静态验证器的 26.3% 提升至 31.2%;GUI 评估显示任务完成率更高且平均动作减少 39.4%;实验室规划分数在五轮策略迭代后翻倍。
推荐理由:该框架利用预测世界模型指导行动与数据选择,在代码修复、GUI 操作及实验室规划等跨领域任务中显著提升了成功率并减少了平均动作数。
EmbodiedCLBench 是首个用于评估自演化智能体在具身环境中持续学习能力的基准,核心原则为组合泛化,要求智能体先掌握基础任务再重组技能解决未见的高级任务。实验显示高级任务零样本下难以完成,但基础任务经验能带来稳定提升;然而该收益不随样本量增加而扩展,现有智能体无法从额外经验中提取有效信息。代码与数据集已开源。
论文研究视觉表示在像素扩散 Transformer 中的生成效用,发现高质量表示不必然提升生成能力且架构分离未必优化生成适配性。为此提出 Representation Guidance(RG)方法,通过低维瓶颈强制提取生成相关信息并显式引导解码器生成。
针对交互式语言智能体训练中收集真人反馈成本高、现有助手模型过于顺从的问题,该研究提出了 MIMESIS 专用用户模拟器。该 9B 参数模型基于人类对话数据并引入显式推理监督与 13 种真实行为模式训练,在 SOUL-Index 等指标上超越最强前沿模型。
Helm.ai 宣布其在过去 12 个月内签署了价值 7000 万美元的商业合同,客户涵盖全球汽车主机厂、一级供应商及工业自动化公司。CEO Vladislav Voroninski 表示,这些项目标志着其技术从概念走向真实部署,且公司已接近盈亏平衡点。
该论文研究了在实时设置下,当快决策模型(fast learned actor)何时应将控制权交给慢速推理视觉语言模型的机制。研究使用闭环 Doom 环境和新的开放“系统一”类型决策模型,发现零样本决策模型在错误中收集物品的频率高于随机水平,且不同模型的准确性、校准度和敏感度存在显著差异。
ETH Zurich Soft Robotics Lab 将市售机械手改造为独立移动机器人,利用强化学习训练其在仿真环境中行走、自扶正及操作物体。团队通过引入针对非对称手指的虚拟弹簧机制与多技能模型切换,使该装置在真实测试中跨越多种表面并成功推物。研究展示了部件功能解耦的新范式,但未涉及真实部署或量产许可。
正行创新发布面向零售场景的Physical AI解决方案,核心包括参数量23亿的SLM-0.5世界动作模型、STEAM强化学习后训练体系及Rpent智能体。公司推出双足人形机器人H1和轮式双臂机器人C1,分别承担交互巡检与搬运理货任务。
UniPat AI发布首个多学科端到端论文复现基准PaperBenchX,涵盖电磁、光子等12个方向及10种原生求解器环境。该基准要求Agent在真实科学软件中完成从建模到验证的完整工作流,且评分仅基于隔离环境下重新生成的证据。
据彭博社报道,前字节跳动实习生田柯宇创办的世界模型公司已获得五源资本、IDG 资本等近 3000 万美元(约合 2.01 亿元人民币)投资,投后估值达 2 亿美元。
清华系企业灵生科技近日完成由华方资本等联合投资的亿元级 A 轮融资。公司依托创始人杨洪兵及清华大学自动化系高飞飞教授团队,构建基于 PhiAgent 数据引擎与 RoboAgent 执行智能体的 RUDA 自进化架构。该技术已在光模块插拔、电池装配等高精密工业场景实现稳定落地,覆盖 3C 质检、物料转运等多类任务。
论文提出 Faster-WAM,主张将计算容量集中于视频世界模型,仅使用单层轻量级动作专家进行预测。该方法通过 Transformer Dock 技术融合各层表征,在 LIBERO 和 RoboTwin~2.0 基准上实现了与 Fast-WAM 相当的控制性能,同时推理速度提升约 3.7 倍,且在分布偏移下表现出更强的泛化能力。
针对机器人部署中的人机交互故障问题,该研究提出 WSM-Aware HRI 框架,将人类指令隐含假设与机器人基于多模态感知的世界模型之间的不一致定义为“世界状态不匹配”。
论文介绍了 CoRe-WAM,一种用于具身智能的世界动作模型。该模型利用冻结跟踪模型的对应关系将历史视觉特征传输至当前位置,计算共享预训练特征空间中的有符号差异,并通过轻量级适配器将其转换为有效性门控残差以补充当前视觉条件。
论文提出 OptCar(Optimized Car)配方,旨在桥接从通用到专用的前向运动学动力学预测基础模型,以保留跨地形泛化能力并优化特定车辆性能。该方法采用 Transformer FKD 架构,利用 FiLM 条件化多步预测,并通过环境特定的系统辨识结合有限真实数据进行专业化微调。
该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。
推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。
针对机器人操作中触觉、力或音频信号难以大规模预训练的难题,本文提出 MuSe 方法,通过多阶段融合与经验回放技术将少量多模态数据适配至预训练视觉策略。研究在真实世界任务中验证了该方法在接触丰富场景下的有效性,同时证明其在保留原有预训练任务性能方面表现稳健,甚至部分任务有所提升。
论文介绍 ED3R 框架,旨在支持资源受限下的环境监控与灾害(如野火)检测。该框架通过远程控制器规划运动、机器人执行感知与决策的层级协作机制,在满足置信度要求的同时最小化能耗。
针对现有视觉世界模型在机器人领域仅能处理单阶段任务(如抓取)且难以应对复杂序列规划的局限,本文提出 WorldDP 框架。该框架采用分层架构,利用高层世界模型作为转移函数优化运行时可行子目标,再由低层扩散策略执行;同时引入对象中心表示以解耦环境实体并支持针对各实体的顺序规划。在多个机器人基准测试中,WorldDP 持续优于现有基线,验证了结合物理基础规划与高效执行的优越性。
论文提出 StressDream 方法,旨在解决视频世界模型在策略评估中因依赖名义想象而遗漏高影响后果的问题。该方法通过在推理时优化扩散模型的初始噪声,将生成过程导向由文本指定的高影响且合理的未来结果(如任务失败)。
本文介绍了一种名为 ReSAE 的新方法,旨在解决现有稀疏自编码器(SAEs)仅分析单个时间步或条件于时间的局限。ReSAE 通过拟合相邻时间步之间的线性预测器,将每个特征表示为初始激活及其残差,从而鼓励潜在变量捕捉超出线性可预测性的结构。