看懂月报 · 2026 年 10 月
kandong
本月智能驾驶迎来 Autoware 2.0 发布,新增生成 - 选择架构与扩散规划器选项。具身智能领域聚焦物理推理数据集开源及多种机器人策略模型突破,如 ZAP 通过仿真教学实现泛化、AgenticRoboRL 提升规划成功率、FTP-1 构建通用触觉基础策略等。世界模型与仿真方面,Ψ-0.6 引入自适应思维流统一多模块,WorldFlow 联合预测视频与 3D 运动,MWA™-Phoenix 在多项评测中领先。计算机视觉则涵盖无需成对数据的训练方法 MSP、开源图文生成系统 MOSS-Image 及提升自回归视频生成质量的 SGF+ 等进展。
Ψ-0.6:统一视觉语言世界模型中的自适应思维流
论文介绍 Ψ-0.6,这是一个统一的视觉 - 语言世界模型,能够在共享的推理过程中自适应地组合感知、语言、几何和仿真模块。该模型通过“思维流”交错处理图像、文本以及显式的几何与运动表示,支持反事实模拟以判断物体移动是否阻碍路径等任务。
智能驾驶
Autoware 2.0 发布:引入扩散规划器与生成 - 选择架构
Autoware 2.0 正式发布,在原有规则基线栈旁新增 AI 规划器选项,采用生成 - 选择架构让用户通过 launch 参数选择 Diffusion Planner。基础模型与数据集已迁移至 Hugging Face,并引入 Autoware Index 管理外部仓库及 Autoware Reference Design 提供可复现的部署配置。
具身智能
本版导读本月具身智能从操作难度转向决策复杂度,开源物理推理数据集并推出多种通用触觉与动作模型,部分成果已在仿真或真实实验中验证规划能力。
智元开源 AGIBOT WORLD Release 4:面向物理推理的数据集
智元宣布开源 AGIBOT WORLD 2026 的第四版发布内容“物理推理”数据集,将任务设计重心从操作难度转向决策复杂度。该数据集覆盖具身智能五大研究方向,包含超 10 类逻辑推理场景,记录同一目标在不同状态与约束下的决策与执行过程。通过连接高层指令、子任务分段、动作步骤及空间标注,支持决策模型与底层策略的协同训练,旨在帮助机器人从孤立操作迈向自主完成复杂现实任务。
ZAP:通过仿真教学实现机器人策略的组成性泛化
论文介绍 Zero-real Agent Policy (ZAP),该方法利用预训练的 27B 参数模型理解任务,并通过在简单仿真任务上进行监督微调及 GRPO 训练来学习操作策略。
AgenticRoboRL:将代码智能体后训练引入具身机器人规划
AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。
FTP-1:一种面向多种触觉传感器的通用触觉基础策略
FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。
VLMs are Native Action Models:通过显式动作空间定位释放 VLM 的操作能力
论文介绍 EASG(Explicit Action-Space Grounding)框架,旨在解决将预训练视觉语言模型转化为通用机器人策略的挑战。该方法通过将工具中心点(TCP)坐标系投影到手腕相机观测中,并将连续机器人动作表达为 VLM 原生文本生成接口,使 VLM 能直接利用其现有的视觉 - 空间推理能力生成可执行的动作,无需机器人动作预训练或额外动作模块。
ARC:一种用于机器人基础模型的推理配方
该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。
ASPIRE:基于代理的技能发现用于机器人
本文介绍 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration),一种在代码即策略范式下自主编写和精炼机器人控制程序的持续学习系统。
NavGPT-3:利用上下文构建分层导航运行时
论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。
VioLA:从人类数据中学习通用类人机器人控制策略
论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。
ReactiveBFM:面向通用类人机器人全身控制的反应式闭环运动规划
针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。
RealtimeWAM:如何实现世界动作模型的实时运行?
针对世界动作模型(WAM)高推理延迟限制机器人控制响应的问题,作者提出了 RealtimeWAM 这一无需重新训练的通用框架。该框架通过层间依赖重叠观测处理与预测、在视觉稳定区域缓存特征以及复用 Transformer 残差等策略协调并行执行与自适应计算。
Juno:驯化预测潜变量以优化视觉语言动作模型
论文介绍 Juno 框架,利用联合嵌入预测架构(JEPA)构建控制对齐的表征骨干、预测教师及可适应动力学模型。通过动态 CLS 损失转移运动加权补丁动力学,融合当前帧 JEPA 补丁并解耦推理分支以蒸馏未来潜状态用于动作生成。
通过预测不确定性触发通用主义推理的双系统 VLA 方法
针对双系统视觉语言动作模型中通用推理模块固定频率调用的静态策略浪费计算资源的问题,提出 TUD 自适应推理框架。该方法利用缓存上下文下的动作重预测跨步离散度作为预测不确定性信号,无需人工标注或辅助模型即可动态跳过不必要的通用调用。在 VLA-Arena 基准测试及真实机器人实验中,TUD 在匹配调用预算下实现了更高的成功率,并将通用模型调用次数减少了 75%,同时有效分离成功与失败的轨迹。
SUAVE:一种基于掩码扩散的统一视频动作模型
论文 SUAVE 提出了一种名为 SUAVE 的单词汇统一动作 - 视频模型,利用掩码扩散 Transformer 同时处理语言、视频和动作模态,并将三者表示为共享序列中的离散 token。
目标图像即控制目标:用于机器人操作的基于空间的 grounded 目标图像合成研究
该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。
世界模型与仿真
本版导读世界模型领域推进统一视觉语言架构与长视界流式预测,通过自适应思维流和物理时间序列锚定提升反事实模拟与跨条件稳健性。
WorldFlow:通过大规模预训练实现视频与 3D 运动联合预测
针对现有视频世界模型隐含 3D 动力学、动作表述绑定特定机器人配置以及 3D 运动预测仅使用流监督信号等局限,该工作提出 WorldFlow,这是一个生成式世界模型,能够联合预测未来视频和基于查询的 3D 轨迹。
无界动力发布并开源MWA™-Phoenix隐空间世界模型基座
无界动力正式发布并开源MWA™-Phoenix端侧7B参数完整预训练模型,该模型在LIBERO-Plus、LIBERO-Pro等六项评测中取得领先成绩,验证了其在环境扰动与复杂操作方面的能力。
何恺明团队发布视觉原生Harness框架VISTA
何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出VISTA框架,让多模态模型无需额外训练即可观察环境、保存原始画面并在推理时回看细节。
Fréchet Forcing:基于短片段训练长视界流式世界模型
论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
视频世界模型的潜变量为何与动作相关:预测优于重建
论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。
Time-JEPA:利用物理时间序列锚定视频世界模型
论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。
计算机视觉
本版导读计算机视觉聚焦多模态对齐新方法、复杂布局图文生成系统优化及自回归视频生成的梯度流解耦技术,部分成果已接受或开源。
MSP:一种无需成对跨模态数据的多模态大模型训练方法
该论文提出了 Modality Self-Play (MSP) 框架,旨在解决对齐多模态数据集昂贵且难以扩展的问题。该方法利用代理文本描述作为未见模态的语义桥梁,使模型在仅观测到真实锚点模态(如图像或音频)及伴随的代理描述的情况下,无需真实的成对非文本监督即可实现零样本跨模态组合与推理。
MOSS-Image 技术报告:开源图文生成系统实现长文本与复杂布局的最优表现
针对开源图文生成模型在处理密集文本和复杂版式上的不足,该研究提出了 MOSS-Image 系统。该系统通过从头预训练的 5B 参数单流扩散 Transformer(DiT)实现了双语长文本渲染与精确的版式控制,并开发了意图感知代理提示增强模块以将用户请求转化为详细的内容与布局规范。
SplatLab:面向 3DGS 研究的自主科学发现系统
SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。
See What I Need, Dream What I Want:一种基于自构建表示空间的导航基础模型
论文提出了 RepresentNav 导航基础模型,该模型构建了由策略自身目标驱动的视觉表示空间。通过 Representation Residuals 模块整合多模态视觉编码器特征,实现端到端训练的策略与潜在思维链联合嵌入预测架构(JEPA)。
PointForward V2:面向前馈式驾驶重建的点对齐交互方法
论文 PointForward V2 针对动态驾驶场景的前馈式重建任务,提出利用紧凑的场景结构化寄存器来中介稀疏 3D 查询间的交互,以替代直接的全局注意力机制。
Iris:基于可复用选项记忆的类型化视觉决策框架
论文介绍 Iris 框架,支持图像、文本或混合候选人的类型化决策任务。研究证明在 Iris 架构下可实现严格的顺序不变性与精确缓存复用,并在 MetaEncoder 基准上超越更大参数量的模型。此外,通过重构 Qwen3.5 的卷积层为矩阵乘积形式,解决了 Ampere GPU 上的系统瓶颈,处理速度提升 350 倍。代码、数据与检查点已开源。
SGF+:通过解耦梯度流提升自回归视频生成的质量与长程一致性
论文 SGF+ 针对自回归视频生成中当前帧去噪与写入上下文共享参数导致梯度负对齐的问题,提出将两者分离为独立参数并通过因果注意力保持交互。该方法无需辅助损失或额外视频训练数据,在 framewise 和 chunkwise 模式下均优于基线,仅用 5 秒 rollout 即可支持连续生成至 24 小时,验证了角色特定参数化对高质量长程生成的有效性。