AutoPhyX:首个文本条件物理属性生成框架实现高保真 4D 仿真
AutoPhyX 提出一种文本条件的空间变化物理属性预测框架,通过部分可控数据生成管线与跨模态调制机制解决视觉输入固有的歧义性。该方法在体素场中确保与网格、点云及 NeRF 等多种三维表示兼容,单次前向传播即可实现高准确度的物理参数分配并泛化至野外物体。实验表明其能支持未来对物理密集型具身智能和机器人应用的需求。
AutoPhyX 提出一种文本条件的空间变化物理属性预测框架,通过部分可控数据生成管线与跨模态调制机制解决视觉输入固有的歧义性。该方法在体素场中确保与网格、点云及 NeRF 等多种三维表示兼容,单次前向传播即可实现高准确度的物理参数分配并泛化至野外物体。实验表明其能支持未来对物理密集型具身智能和机器人应用的需求。
本文提出 LiveAct 框架,旨在解决现有交互式视频世界模型仅支持单一智能体和特定任务动作接口的局限。该研究引入了异构动作接口(HAI),包含“代理感知空间调制”和“架构引导的动作适应”两个组件,分别实现了对多智能体视觉未来的独立控制以及跨不同任务对同一控制变量语义的解释能力。
论文提出 Relational Geometry Forcing (RGF) 以解决现有世界动作模型(WAMs)因点对点几何特征对齐而损害动作学习的问题。该方法通过冻结的 3D 基础模型,利用帧内、跨视图及动作时序三种互补的关系目标来转移几何先验,无需额外推理模块或显式几何分支。实验表明 RGF 在仿真和真实世界中均能提升多种操作场景下的性能。
论文提出了 DepState-JEPA 架构,这是一种基于 V-JEPA 2.1 的双流 RGB-Depth 联合嵌入预测模型。该框架通过共享潜在状态 DepState 连接空间理解与动作条件预测,利用深度作为互补观测并将双模态锚定在度量 3D 空间中。研究通过射线条件读出、物体轨迹监督及校准的前向运动学来塑造状态学习,实验显示其在 RGB 编码器迁移、特征补全、视觉预报及操作成功率上表现更强。
研究评估了七款本地部署的视觉语言模型(VLM)在两种以人为中心的热成像数据集上的表现,发现其虽能识别宽泛活动类别,但在咳嗽、打喷嚏等细粒度动作及物体相关幻觉上存在显著缺陷。简单的热成像预处理与额外推理仅带来有限的模型依赖增益,且模型在明确指令下的拒绝回答行为差异较大,限制了其在实际机器人应用中的可靠性。
该研究调查了世界动作模型因生成骨干网络不同而导致的泛化性能差异,提出表征先验应在策略训练前构建分离冗余信息与分布内流形的几何结构。通过量化视觉变化下的噪声正交性,发现更高的先验正交性与更强的视觉鲁棒性及策略泛化相关,并观察到随之而来的特征位移抑制与稳健动作生成能力。
该论文提出 OccJEPA 方法,将无模态视频分割任务转化为世界模型预测问题,利用预训练的 V-JEPA 2.1 填补被遮挡区域特征,实现确定性推理。相比基于扩散模型的基线,该方法在 SAIL-VOS、TAO-Amodal 等基准上速度提升 33.5 倍且精度更高(+4.00 AP50),代码已开源。
推荐理由:将遮挡视为掩码利用预训练世界模型实现无模态视频分割,速度提升 33.5 倍且精度优于扩散基线。
Gonzalo Gomez-Nogales 等人发布了 Pair-Free Coarse-to-Real Video Generation 模型,该方法通过 DINO-R2C 模型在图像特征空间学习从真实到粗糙图像的映射,利用现有编辑与三维重建工具构建图像对进行监督,从而摆脱了对成对视频数据的依赖。
针对移动操作器需适应物体及空间环境的挑战,本文提出 COWBOY 框架,利用向量化环境感知全身控制器处理千种场景下的到达与避障,再训练局部 RL 专家进行物体交互,最终蒸馏为单一视觉策略以控制移动基座、机械臂、灵巧手和主动相机。该策略能从点云观测自动适应场景几何并执行操作。材料为预印本论文,未报告真实机器人部署结果或具体性能指标。
该论文提出 inr2action 方法,利用共享的元学习初始化拟合机器人操作视频,将每个独立经验编码为固定大小的权重增量(delta)作为记忆。该方法通过投影层将权重增量映射为 token 嵌入,进而条件化语言模型进行问答和解码器执行关节命令回归,无需在查询时检索帧。实验显示,该方法在 RoboMME 基准上超越随机猜测,且证明了元学习初始化对于编码内容的关键作用。
论文提出了 Real2Sem2Real (R2Sem2R) 方法,旨在解决现有方法依赖深度传感或仅针对演示对象生成数据的局限。该方法利用 DINOv3-distilled Gaussian splats 跟踪 SE(3) 姿态,结合语义对齐将数字孪生体与演示物体匹配,并将人类手部动作映射为可行的机器人抓取策略。
推荐理由:该方法利用单个人类 RGB 演示生成跨语义实例的机器人数据,在真实机器人上验证了策略泛化能力。
arXiv 发布了一篇题为 WorldStream 的研究论文,提出一种开放式的 3D 世界模型,具备扩展可玩地形、响应开放式语言指令及恢复编辑后地点的能力。该系统通过分层规划器在类型化决策模型上发出结构化状态,利用确定性本地代码将计划编译为地形与实体,并通过流式处理分离计算范围以管理资源。
该论文介绍 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),这是一个基于冻结图像和文本表示的单一流匹配 Transformer,每个模态拥有独立的噪声水平以支持联合或条件生成任务。
神龙科技成立后宣布与Momenta达成全球战略合作,双方将联合进行产品定义、设计和研发,共同打造新一代智能电动汽车。Momenta将依托其R7世界模型开发高阶智能辅助驾驶系统,该系统将搭载于标致和Jeep品牌的全新量产车型上,面向中国、欧洲及全球其他市场销售。此次合作标志着Momenta从单纯供应商转变为参与整车定义的伙伴,且新车规划旨在实现“在中国、为全球”的全球化布局。
SpatialBrain 是一个保留关于何时进行直接观察、重建或改变参考系等决策经验的框架。它通过 3DFusionMemory 融合场景观测,利用 Spatial Skill Library 提供可复用的工具程序,并通过 Spatial Cognition 关联任务条件与使用记忆和技能的时机方式。
推荐理由:该框架在固定视觉语言主干下,通过融合场景观测与抽象执行轨迹来积累推理经验,并在五个基准测试中优于直接回答。
该论文提出Harness Scaling这一新维度,旨在解决现有智能体系统仅依赖单一固定执行器(harness)导致的特化与迁移受限问题。研究通过构建因子化解耦的执行空间、选择平衡的因子覆盖子集以及组织跨配置训练,实现了从单点训练到多样化配置的扩展。
ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。
推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。
论文提出未来片段预测方法,作为教师强制去噪的辅助目标,直接监督时间间隔片段以捕捉场景演化而非仅局部连续性。该方法无需额外预训练视觉编码器且保持推理不变,在更低计算预算下实现更优物理合理性,并可能为构建自回归世界模型提供结构化表示空间。
该论文针对基础模型智能体在长期部署中受限于固定权重和上下文的问题,提出 Memory-Centric Continual Learning (MCCL) 框架。
论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。
推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
论文介绍 UserArena 基准,包含来自 1.1 万用户的 6.47 万条会话轨迹,覆盖 56.6 万商品与 13 种动作类型。该基准配备交互式环境并支持基于生产 A/B 测试结果的离线验证,可实现从输出有效性到最终结果的五级评估。作者还提出了 On-Policy Trajectory Distillation 方法以提升长周期交互的仿真保真度,实验表明其在复现生产策略效果方面表现最佳。
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
针对长视界任务中稀疏奖励导致的信用分配难题,本文提出 Self-Credit 方法,利用策略模型生成的带引用摘要作为自生信用信号,并通过比较同一提示下成功与失败轨迹的引用动作进行组内重缩放以剔除不当信用。
推荐理由:提出 Self-Credit 方法,通过组内重缩放将稀疏奖励转化为稠密监督信号,在 BrowseComp-Plus 等基准上显著优于基线。
千诀科技在首届2026物理AI与世界模型大会上正式发布预测式世界模型Polibrain。该模型不堆画面预测,专注物理规律与跨本体复用,支持四足、人形等多形态机器人适配。其核心技术包括多项式表征(提取关键变量)、因果记忆(筛选历史信息)及松耦合架构(分离世界理解与动作执行)。相关理论工作比LeCun团队相近研究早约一年,旨在解决具身智能泛化难题。
生数科技世界模型团队于10月21日开启Motubrain 2.0训练全流程公开直播,计划持续半个月。此次直播涵盖预训练、后训练、Agent任务执行及递归自我改进四个环节,旨在打开具身模型训练的“黑盒”,向公众展示从训练到能力迭代的全过程,并探讨规模化训练与跨场景泛化等关键问题。相关研究仍处于探索阶段,具体效果需后续验证。
英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。
推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。
NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。
推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
针对长周期任务中代理单次成功但重复运行失败的稳定性问题,论文提出了 RiseHarness 框架。该框架在固定模型权重的前提下,通过翻转同一配置下的成功与失败轨迹,结合运行时监控的内部痕迹分析模型动作与命令执行、反馈及上下文管理的交互机制。
论文提出S3(Spectral Null-Space Swap)方法,这是一种无需训练的成对检查点组合策略。研究指出推理能力的核心存在于非思考模型主导奇异方向投影的零空间中,移除该分量可大幅提升效率而不损害准确率。实验在2B至30B参数量的稠密及MoE架构上验证,相比完整思考模型,S3平均降低27.4%推理token开销,同时整体任务准确率提升1个百分点(如在HMMT25上准确率达+8.3%)。
推荐理由:提出S3方法,通过交换非思考与思考模型的零空间权重,在推理效率提升27.4%的同时保持准确率。
arXiv 论文介绍 UMM-Reflection 方法,利用交错强化学习在统一多模态模型内联合优化反思文本与基于流的图像修订,无需外部验证器即可实现跨轮次信用分配。实验显示该方法在 BAGEL 基准上 GenEval 指标提升 12.05 点,且增益可迁移至 WISE、OneIG-Bench 和 T2I-CompBench++ 等未见过的任务。
针对现有协议依赖生成历史或参考视频导致无法真实评估记忆能力的局限,该研究提出 OPIS 基准,严格锚定初始观测中的固定对象实例进行评测。数据集涵盖现实、具身机器人及游戏世界共 500 个案例,包含 12,672 个刚体、连杆和可变形物体的密集标注。
论文提出 NeoWorld-Pro 框架,利用多模态大模型的零样本推理与代码合成能力,将单张 RGB 图像转化为指定物体几何、关节及物理属性的可执行程序,并通过物理引擎闭环迭代修正生成结果。实验表明该方法优于开环及现有单目重建方法,支持稳定堆叠等复杂下游任务。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果。
arXiv 发布 DA-WAM,一种耦合联合嵌入预测架构与候选轨迹评分的决策对齐世界动作模型。该方法在联合训练中利用观测场景动力学锚定未来表示,并通过规划目标捕捉安全与效用相关的区分特征;引入动作条件化预测器为每条候选轨迹生成独立潜变量,配合多头轨迹评分器估计规划因素与整体效用;通过硬负样本的安全关键后训练进一步提升几何相似但结果不同轨迹的判别能力。
该论文提出 WorldScape Policy 2.0,一种具备推理增强长期短期记忆的受控世界动作模型(WAM)。其因果短期视觉记忆提供局部交互动态,长短期事件记忆组织历史 VLM 输出以支持进度感知检索。
针对现有方法侧重未来生成而忽视三维理解、大语言模型缺乏几何演化预测能力的差距,该研究提出 HERMES++ 统一驾驶世界模型。通过鸟瞰图表示整合多视角信息、LLM 增强世界查询促进知识迁移、当前到未来链接桥接时间差以及联合几何优化确保结构完整性,该方法在多个基准测试中表现优于专用方法,同时实现未来点云预测与三维场景理解任务的高性能。论文已被 IEEE TPAMI 接收,代码与模型将公开。
推荐理由:该工作提出统一框架融合三维场景理解与未来几何预测,填补语义解释与物理模拟间的差距。
针对 Joint-Embedding Predictive Architectures (JEPAs) 存在的对象信息分散、缺乏显式实体对应以及点距离对空间位移不敏感等挑战,该研究提出 Slot-based Joint-Embedding Predictive Architecture (Slot-JEPA)。
研究通过受控评估发现,在 HighwayEnv 测试床(1Hz, gpt-4o-mini)上,经验记忆的收益主要源于最佳预热池抽取,而非检索机制本身。仅含 15 token 的谨慎指令即可达到碰撞合并上限,且基线端口质量缺失会导致结论反转。团队已发布经审计的测试床、端口及缓存数据供验证。
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。