Harness-S:通过兄弟 Harness 学习实现可泛化智能体训练
论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。
推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。
论文提出 Harness-S 方法,针对智能体训练中基座执行系统(harness)的局部性、互补性和非平稳性问题,引入方向性 Harness 演化构建可复用的兄弟 Harness 池。
推荐理由:提出 Harness-S 框架,利用辅助 harness 修复基座执行失败并将能力迁移至策略,在 AppWorld 等基准显著优于纯策略训练。
NVIDIA Cosmos 是专为物理 AI 开发者打造的包含世界基础模型与开发工具的平台,旨在解决模型适配传感器、任务及数据并可靠落地应用的两大挑战。该平台提供智能体技能与世界模型训练的配方(recipes),帮助开发者将通用模型高效转化为特定场景的交互式仿真解决方案。
成均馆大学电子电气工程学院团队发布两项新技术,使 AI 系统处理复杂长期任务时更省算力且更安全。研究解决现有代理依赖高频反馈导致的高成本与慢响应问题,成果已上传 arXiv 预印本服务器供查阅。
该论文提出 SV-WAM,旨在解决现有世界模型因生成未来视频导致推理开销大、常被迫仅用单前向摄像头的局限。方法利用未来视频预测作为训练监督而非推理输出,通过动作中心因果掩码防止动作 token 关注未来视频 token,使部署时可丢弃视频分支实现高效规划;同时引入可微驾驶区域合规正则器以增强安全与边界感知。
推荐理由:SV-WAM 利用未来视频预测作为训练监督而非推理输出,结合因果掩码与可微合规正则器,在保持六路摄像头输入的同时实现低延迟规划。
论文介绍 Adaptive-WAM,这是一种构建于 Wan2.2-5B 骨干网络上的质量感知多出口规划器。该方法将轨迹扩散头附加到选定的 DiT 块上,利用轻量级评分器在满足质量阈值时终止推理,从而避免完整的迭代去噪和 VAE 解码过程。
推荐理由:该工作提出基于中间层特征的质量感知早退规划器,在 NAVSIM 上取得最佳结果并实现低延迟推理。
该论文探究视频基础模型是否在冻结表征中编码了可用的直觉物理信息,以及这种能力是否自然涌现于大规模视频预训练中。研究利用 IntPhys2 和 MVP 基准,对比了预测联合嵌入(V-JEPA)、掩码重建(VideoMAE)和扩散生成(LTX-Video)三类模型在冻结特征上的表现。
作者发布了 SUREON 视频问答数据集和基准,旨在评估基于视觉证据的手术推理能力。该数据集通过对抗性筛选去除了可仅凭语言回答的问题,包含 7.6 万训练对和 340 个专家验证的测试题。
该位置论文主张以交互式生成视频(IGV)作为感知与世界生成的核心,构建由设计师控制的新一代生成式游戏引擎(GGE)。文章通过六个功能模块的进展分析,提出了从 L0 到 L4 的五级成熟度路线图。此外,研究还探讨了九种替代观点及伦理考量,旨在推动社区关于该架构变革的讨论。
该论文提出 TetraState 回归测试协议,用于评估学习世界模型在不同配置下的稳健性。实验显示,仅检查模态判定翻转会遗漏大量因配置变化导致的隐性退化案例,需将测试框架版本化并分析多配置间的结果迁移。
论文提出了 ID-WM(Implicit Dynamics World Models),这是一种分层世界模型框架,旨在解决具身智能体在长视界任务中的累积误差和搜索复杂度问题。
GeoFlip是一个针对视频生成模型的基准测试框架,旨在评估模型对初始几何变化产生正确物理演化的能力。该基准包含482组场景配对和964个参考视频,覆盖六种物理类别,通过程序化构建、物理仿真及数值验证确立参考结果。评测结果显示,在共享条件下16种图像到视频生成模型的平均事件正确率仅为27.98%,暴露出当前模型在几何条件约束下物理一致性方面的显著局限。
该综述考察了具身记忆作为保留决策相关信息的关键机制,涵盖世界状态持久性、任务进度等六大需求及循环状态等八类架构。文章分析了现有基准在评估依赖历史信息的真实行为方面的局限性,并指出了选择相关经验与维持信念一致性等开放挑战。
针对多模态大模型在复杂视觉任务中因过度思考导致性能下降的问题,本文提出 Difficulty-Aware Chain-of-Thought (DA-CoT) 框架。该方法利用注意力图熵值作为内在难度信号,自适应决定是否触发思维链提示;同时引入双向反思机制以从过思考和欠思考导致的错误中恢复。实验表明,该训练免费的方法在推理分割基准上达到最先进性能并显著提升推理效率。
该论文提出 DrawSplat 框架,旨在解决现有高斯 SLAM 在室内弱纹理、大面积平面及噪声深度场景下易出现位姿漂移和几何伪影的问题。方法采用类似绘画的流程:先通过点线联合跟踪构建显式结构布局,再利用亚特兰大世界(Atlanta World)的先验推断重力方向并生成可微正则项填充隐式神经高斯以获取高保真外观与连续几何细节。
推荐理由:该工作提出基于 Atlanta World 先验的隐式高斯 SLAM,通过点线联合跟踪与结构采样解决室内弱纹理场景下的位姿漂移与几何重建问题。
PEPS 提出一种无需训练的代理范式,通过“先解析后执行”原则在 Frame、Entity、State 和 Metric 架构下提升 VLM 的时空推理效率。实验表明该方法相比强工具集成基线显著提高了准确率,同时大幅减少了优化轮次、API 调用成本及端到端延迟。该研究已发布预印本 arXiv:2610.41389,代码与权重暂未提及开放许可。
该论文提出 Hourglass 架构以解决跨具身运动规划难题,通过解耦通用的无本体世界模型与各机器人的可微本体动力学接口,实现数据池化与参数识别。在七种仿真机器人上,该方法成功率提升 3.8-10.6 个百分点且无需专用训练即可匹配专家策略;经三分钟遥操作标定后,零样本迁移至未见的真实滑移转向机器人并在室内场景导航成功。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。
推荐理由:提出 Hourglass 架构,通过解耦通用世界模型与可微本体动力学实现跨机器人运动规划,在仿真中优于基线并支持零样本迁移至真实机器人。
GenDSR 是一个框架,它将视频生成模型(VGM)的中间表征转移给视觉语言模型(VLM),用于解决 VLM 在保持场景状态的同时追踪空间关系演变的挑战。该框架构建了两个互补分支:一个保留整体生成上下文的原始分支和一个强调时间变化的增量分支,并通过任务条件化的逐 token 门控融合信号并注入原生视觉表征。
推荐理由:该工作提出将视频生成模型的中间表征迁移至视觉语言模型,在动态空间推理基准上取得新最优结果。
针对机器人感知依赖昂贵且难以采集的真实现场数据的痛点,该研究利用 70 亿参数世界模型生成合成视频以扩展训练集。实验显示,在无人机上预训练的模型中,加入精选的合成帧使 mAP@50--95 提升 4.3%,完全替代真实数据时提升 10.3%,在城市基准测试中最高可达 33.5%。
论文 UFMF 提出一种实时 4D 占用预测器,通过无注意力对角状态空间核心结合雷达引导的速度感知动态先验(VADP),在保持低延迟的同时提升长时域对快速移动目标的预测精度。该方法在 nuScenes 数据集上达到 0.45 mIoU,单 RTX 4090 运行帧率达 122 FPS,显著优于近期占用世界模型且计算成本更低。
针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。
推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。
论文介绍 DyCraft 系统,通过分步策略解决通用编码代理在长周期动画中易产生物理违例的问题。系统将提示词扩展为详细计划以构建静态场景,再创建关键动作帧的 3D 故事板,将复杂时空约束分解为可独立调试的起止状态对。实验覆盖人形机器人、人物及机械装置等 24 个长周期多镜头任务,结果显示 DyCraft 相比原生 GPT-6 代理及基线显著减少物理违例并提升生成质量。
智元 AGIBOT 完成 Genie Sim 仿真平台重大版本迭代,聚焦柔性物体交互难题。平台自研物理引擎实现刚柔接触分区求解与 20 倍加速,并推出基于真实画面的世界模型闭环仿真以复现柔软物体形变。
昆仑行机器人发布昆仑AGENT系统最新进展,将物理递归自我改进(RSI)机制应用于复杂长程操作任务。该系统在手冲咖啡真机任务中,实现了复杂任务规划与精细操作的闭环,展现出长时序自主学习和执行能力。
智澄 AI 近日完成由杭州资本等联合投资的数亿元新一轮融资,将用于深耕具身智能与世界模型。公司已推出 XR1 复合型工业级与 TR6 高性能通用人形机器人并实现落地量产,其中 XR1 已进入蔚来汽车工厂产线及大众汽车测试场景。
论文提出 WebHarbor,这是一个由 153 个可执行且 Docker 化的真实网站环境组成的套件,通过人机协作在确定性控制下高保真地重建了视觉界面、内容和功能工作流。
2026年10月31日,西湖大学在云谷校区正式成立世界模型研究中心,由AutoLab团队主导。该中心聚焦物理智能与世界模型研究,旨在突破智能系统理解物理规律与预测环境变化的瓶颈。
清华大学姚期智和袁洋团队提出「代数世界模型」(AWM),利用范畴论中的投射极限与归纳极限工具,将大模型的试错探索转化为形式化数学证明。在ARC-AGI-3游戏集测试中,基于Opus 5.5的AWM以99.9%得分和43%人类基准动作数全部通关,并能准确判断无解关卡。论文由本科生潘冠成、谭淇心撰写,项目主页与arXiv预印本已公开。
推荐理由:清华团队提出代数世界模型,利用范畴论工具将试错探索转化为形式化证明,在ARC-AGI-3测试集实现99.9%通关率。
该论文指出长视界终端任务评估中,现有方法用回合数衡量长度、LLM 标签衡量难度存在偏差。作者提出以工作量和深度(必须顺序执行的回合数)定义任务,审计发现合成数据多为增加工作量而非深度。提出的 DEPTH 基准包含 105 个高深度任务,现有六款模型均无法通过半数,但微调 Qwen3-8B 后在两个终端基准上表现提升。
论文提出 Decoupled Predictive Decision Making (DPDM) 架构,将异构智能体决策形式化为基于共享预训练学习器的条件预测任务。
推荐理由:提出 DPDM 架构,利用冻结预测器结合语言与结构化数据预训练,在不更新参数下提升多任务决策准确率。
大晓机器人联合南洋理工大学S-Lab发布面向具体环境的世界模型Mundo,具备场景重建、自由视角探索和时空模拟能力。该模型仅需1至12张真实图像即可构建可编辑的三维代理场景,并通过代码定义物体质量与摩擦等物理属性,利用MuJoCo引擎计算运动与碰撞,最终由视频扩散模型渲染出符合物理规律的动态画面。
推荐理由:大晓机器人联合南洋理工大学发布Mundo,支持少量图像构建含物理属性的可交互三维环境,为机器人Real-to-Sim训练提供新工具。
该论文针对非线性动力系统连续时间演化学习中依赖轨迹的目标函数存在计算成本高、随展开步数增加而退化及受数值格式限制等问题,提出 Velocity Matching (VM) 这一免模拟目标。
IEEE Spectrum Robotics 周刊视频集锦展示了包括 ANYmal X、Spot、Lite3 在内的多款机器人的全身操作能力。内容涵盖 ETH 苏黎世联邦理工学院的接触中心学习框架、Pollen Robotics 的轮式机器人 Racey Mini 以及 DEEPRobotics 在广西景区的双机协作等真实场景演示。
杭州具身智能公司智澄AI于10月30日宣布完成由杭州资本、富浙科技等联合投资的数亿元融资。该公司成立于2024年,自称是国内首家自研世界模型的企业,专注于物理智能,推出了XR1工业机器人和TR6人形机器人,并开源了基于JEPA架构的澄灵物理世界模型0.1。目前XR1已进入蔚来汽车工厂产线及大众汽车场景测试,并与国家电网合作开发安防巡检机器人。
DiTSG 提出一种利用堆叠多智能体逆 Transformer 层作为去噪骨干的扩散模型,从记录的多机轨迹中联合生成空域交通场景并条件化于各智能体的到达时间要求。实验表明该模型生成的多样化场景既复现了记录流量的统计特性,又保留了真实空中交通管制中观测到的逼真机间交互模式。
该论文提出 WNM-3D,这是一个用于连续视觉语言导航(VLN)任务的生成式世界导航模型。它利用冻结的前馈几何编码器从单目 RGB 历史中提取跨视图表示,并通过可训练的 3D 场景到 Token 适配器将其转换为固定长度的场景前缀,供世界动作扩散 Transformer 使用。
Turbo4DGen 是一个针对基于扩散的多视角 4D 内容生成提出的超快加速框架,旨在解决长链一致性带来的计算与内存开销问题。该框架引入时空缓存机制以跨去噪步骤复用中间注意力,并结合动态语义感知注意力剪枝及自适应 SCM 链旁路调度器,大幅减少冗余的 SCM 注意力计算。
该工作提出一种 JEPA 风格的世界模型,将潜在动力学限制为双线性参数化形式,从而在编码器上施加更丰富的表示压力以暴露系统可控几何结构。这种结构化参数化从构造上强制实现了动作可恢复性,防止了表征坍塌。
针对联合嵌入世界模型在递归规划中单步预测误差会累积传播的问题,本文提出 SALT 模型。该方法采用状态仿射动力学结构,使误差传播算子仅依赖于动作序列,从而消除非线性传播残差。
FLORO 是一种多模态地理空间基础模型,旨在从少量但高度多样化的遥感语料中学习可迁移的表示。该模型在 Sentinel-1、Sentinel-2、SkySAT 影像以及高程和无人机衍生数据上进行掩码自编码预训练,并引入感知可用性的输入以适配传感器变异性。
SLVR 提出两阶段学习框架,利用细粒度属性监督构建约 400K 区域级标注与 800K 问答样本的 SLV-Set 数据集。该方法引入 Multi-query Group Relative Policy Optimization (M-GRPO) 对齐多查询潜表示,并在 SV-QA 基准上验证了相比现有基线更优的鲁棒性与语义一致性。