三条 AI 技术路线终将合流?智象创始人梅涛提出智能体化的世界模型
加拿大工程院外籍院士、智象元一(HiDream.ai)CEO 梅涛在 2026 世界顶尖科学家论坛提出构建智能体化全模态世界模型,旨在弥合数字智能与物理智能鸿沟。
加拿大工程院外籍院士、智象元一(HiDream.ai)CEO 梅涛在 2026 世界顶尖科学家论坛提出构建智能体化全模态世界模型,旨在弥合数字智能与物理智能鸿沟。
11 月 20—21 日在北京举行的 2026 奇点智能技术大会将围绕 RSI、自进化 Agent、Physical AI 及世界模型六大方向展开。OpenAI、腾讯、阿里等机构专家将分享从数字到物理的落地经验,涵盖 C++ 系统软件与 AI Infra 实践。
上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。
推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。
轻舟智航技术副总裁钱祥隽在 2026 第四届 AI 定义汽车论坛上提出,世界模型与强化学习是通往通用物理 AI 的必经之路。公司云端底座支持零样本生成恶劣天气及长尾场景,车端 Pro 方案基于地平线征程 6M 芯片实现城市 NOA 量产,MAX 方案算力超 500 TOPS。目前辅助驾驶系统搭载量已超 100 万台,测试车正在德国慕尼黑、法国巴黎等地路测。
针对多模态大模型在长文档中上下文受限且难以进行全局视觉问答的问题,该研究提出基于知识图的多模态检索增强生成方法。作者构建了包含参考摘要与支持事实的新基准 DLVQA,实验表明该方法在多跳问答及新基准上均优于现有 MMRAG 或知识图方案。论文已提交至 WACV 2027,代码与数据许可状态需查阅原文。
该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。
推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。
论文提出 Khora 框架,解决现有方法在固定智能体数量下训练的局限性。该架构将世界状态演化与视觉渲染解耦,通过统一渲染接口查询智能体特定观测,实现跨视角一致性且无需重训练即可支持推理时任意数量的智能体扩展。定性实验显示该方法能泛化到未见过的智能体数量并保持视觉质量与多智能体一致性,并实现了实时交互式开放世界仿真系统。
针对稠密交通中罕见且安全关键场景的鲁棒规划问题,该研究提出 Adversarial World Modeling (AWM) 框架,将对抗性鲁棒规划学习建模为约束极小极大博弈。
针对多模态大语言模型在情感推理中稀疏监督的局限,本文提出 OmniOPSD 框架,将标签级监督转化为证据丰富的教师理由,通过在线策略学生与本地自教师的紧密耦合进行训练。
该论文提出了 SKILD 模型,利用自然图像和物理系统的尺度不变性,在单一无条件框架下统一了图像生成与连续超分辨率任务。通过仅改变起始时间步即可实现从粗到细的恢复,无需特定架构、条件分支或针对每个缩放因子重新训练。
WorldAct 是一个利用多模态智能体引导场景分解、识别可操作物体并重建几何对齐网格的框架,能将 Marble 等系统的静态单体资产转化为支持对象级编辑和碰撞感知操作的场景。实验表明该框架在保持全局场景一致性的同时实现了更丰富的交互情景,为构建可编辑且具备物理交互能力的 3D 世界模型提供了实用路径。
论文提出 PanoWorld,一种从单张图像和文本描述生成几何一致 360 度视频的模型。该方法将全景视频生成视为潜变量状态建模而非纯视觉合成,引入深度一致性损失与轨迹一致性损失以约束 3D 场景状态,并应用球面几何感知适配。
该论文提出了 CityRAG 模型,旨在解决生成三维一致且可导航的、对真实地点进行空间锚定的环境模拟问题。现有视频生成模型虽能根据文本或图像提示生成合理序列,但缺乏在任意天气条件和动态物体配置下重建现实世界的能力。
VTAM 是一种针对接触丰富操作的视觉 - 触觉世界动作模型,无需触觉或动作预训练即可工作。该模型共享冻结的视频 VAE 和预训练视频 Transformer 权重,先适配以联合预测未来视觉与触觉潜变量,再端到端微调以预测动作、本体状态及基于触觉光流计算的轻量力流代理。
论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。
推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。
该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。
推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。
针对自动驾驶领域需重新训练才能适配新驾驶目标的限制,本文提出 GuidedWAM 框架,在采样阶段通过可微分能量机制向冻结的世界动作模型注入新的驾驶目标。该方法利用采样时的引导调度、每能量归一化及速度有界修正来稳定生成过程。
该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。
推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。
Cosmos Policy 和 RoboCasa 审计显示,在干净数据上学到的价值选择器比随机差 1.66 个百分点,82% 的状态候选结果相同。Token 剪枝虽降低 FLOPs 但端到端加速仅达 1.15 倍,未达 1.5 倍目标且自适应分配实验无结论。研究还发现并修复了计算密集型规划路径下渲染腐蚀率上升的问题,发布了检测器与修复脚本。
针对物理 AI 任务中自回归视觉语言模型逐点生成导致效率低下的问题,该论文提出 VFlash 方法,利用轻量级 drafter 通过 Flash Primitive Decoding 联合预测视觉原语(如包围盒、轨迹)的坐标。
该系统利用车把摄像头与视觉语言模型(VLM)提取交通属性,结合开放街图数据通过可解释增强机器(EBM)预测骑行安全评分。在伦敦两条路线的 1,362 帧标注数据上,模型 CPU 推理耗时 0.4ms,二元分类准确率达 72.2%,物理车道分离贡献 +0.97 分。重编码后以 54 Mbit/s 支持千名骑手连续监测,误差仅增加 1.4 个评分点,为基础设施成本效益分析提供直接依据。
针对类人机器人难以与人类伙伴协调的问题,本文提出了 Social Humanoid 系统。该系统在 Unitree G1(29-DoF)上生成并执行对社会响应性的全身运动,其高层策略通过共享标记化表示对人与机器人的运动进行灵活序列建模,能在遮挡时预测伙伴动作;低层控制器负责执行生成的运动。
该研究提出一种基于颗粒堵塞和冷热液体热传导的触觉显示原型,实现了软度与温度变化的同时调控。机械评估显示可控刚度提升 300%,热表征表明表面均匀性良好且温度范围覆盖 10°C 至 50°C。闭环控制将设定值误差维持在 0.2°C,该技术适用于感知研究、医疗模拟及情感触觉领域。
论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。
推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。
针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。
推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。
作者提出交互式视觉健身房框架,旨在对支持持续物理任务的视觉交互模型进行闭环评估与训练。该框架联合仿真可执行任务环境与人类用户,贡献了烹饪、家庭操作和移动界面领域的三个模拟器及人物条件化用户模拟工具,并包含 315 个交互场景的基准测试。
论文提出 La-JEPA,这是一种紧凑的世界 - 动作模型,其策略 Transformer 从零开始训练于预训练 V-JEPA 2.1 编码器的特征空间。该模型在训练阶段联合预测未来特征与动作,推理时仅生成动作。
论文 FreeOcc 提出了一种轻量级连续时间世界模型,利用显式的 SE(2) 几何解耦将自运动从场景动态中分离,构建了纯动态特征空间。该模型引入不确定性感知混合机制,将高置信度体素路由至单次解码器,仅对模糊区域使用 ODE 求解器。
针对世界 - 动作模型(WAM)在安全关键场景中依赖专家轨迹模仿导致不安全替代方案约束不足的问题,该研究提出 NegWAM 框架。该方法构建几何上接近专家轨迹但携带安全风险的反例作为排斥锚点,引导预测远离危险行为,并编码为场景条件化的 rider token 以学习场景 - 轨迹兼容性。
该论文提出 WAM-Sim 模型,旨在解决自回归驾驶世界模型在长 rollout 中出现的结构漂移、身份漂移和质量衰减问题。该方法通过持久分层记忆(包含姿态对齐的结构 token、只读场景 token 和一次性实例 token)来维持跨时间尺度的上下文一致性,并利用在线流匹配强化学习优化自生成的 rollouts。
针对全景视频深度估计面临的大规模数据稀缺及等距圆柱投影(ERP)特有的时空挑战,本文提出 PVDepth 端到端框架与 PanoCARLA 大规模合成 RGB-D 数据集。该方法通过渐进式球面感知噪声初始化策略和立方体校正时序建模模块,有效缓解几何失真与非线性动态问题,生成几何准确且时序一致的深度序列。代码与数据将在指定链接发布。
PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。
推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。
论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。
推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。
论文提出区间积分分类器自由引导(Interval-Integrated CFG)恒等式,解决单步视频生成模型中引导尺度固定与最优引导随噪声、空间及帧位置变化的矛盾。
论文提出 CRISP 分层控制框架,将高维系统动力学重构为动态互联子系统的组合,以双臂操作为人形机器人代表应用。躯干建模为单刚体,双臂与下肢为浮动基动态模型,末端执行器间的闭环运动链及臂与躯干的连接表示为完整约束,拉格朗日乘子参数化肩部及末端间的交互力矩。
该论文提出 Spatial-UMI-Dream,这是一个 5B 参数的空间世界动作模型(WAM),在 605 小时 RGB-D UMI 数据上通过两阶段训练预训练,旨在联合预测未来 RGB、鱼眼对齐的度量深度及动作。
极智嘉在 CeMAT 上展示了通用人形机器人 Gino 1、Gravity 具身模型及全仓智能软件平台,旨在构建端到端仓储解决方案。文章指出,利用世界模型进行动作预判与抗干扰可提升操作稳定性;结合多形态机器人协同与共享数据底座,系统能持续沉淀运营经验并自主进化,推动仓库迈向全天候无人化自主运营。
上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。
推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。
论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。
推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。
TurtLES 是一个包含 400 条轨迹、每条 400 个时间步的 14 TB 数据集,涵盖几何、雷诺数及攻角变化。该基准通过高保真隐式大涡模拟生成具有活跃能量级联和密集不规则网格的数据,用于评估神经算子在自回归推演中的表现。研究识别了时序不稳定和小尺度能量丢失等关键失效模式,为工业相关网格分辨率下的湍流尾迹代理模型提供了新标准。