WorldForge V2:激发视频扩散模型中的相机 - 轨迹对齐
论文提出了 WorldForge V2 方法,旨在解决视频扩散模型在空间任务中相机控制不精确及时空不一致的问题。该方法采用无需训练的引导框架,利用 warped references 迭代优化生成过程,并通过光流分析分离运动控制与外观特征。
推荐理由:提出无需训练的引导框架与轨迹 LoRA,在视频扩散模型中实现精确相机控制并保留生成能力。
技术方向
物理仿真、数字孪生和仿真到现实,保留物理设置、平台条件和实机迁移证据。
425 条精选近 30 天 289 条共收录 1,722 条
论文提出了 WorldForge V2 方法,旨在解决视频扩散模型在空间任务中相机控制不精确及时空不一致的问题。该方法采用无需训练的引导框架,利用 warped references 迭代优化生成过程,并通过光流分析分离运动控制与外观特征。
推荐理由:提出无需训练的引导框架与轨迹 LoRA,在视频扩散模型中实现精确相机控制并保留生成能力。
针对现有文生视频模型难以理解用户提示中隐含的物理演化问题,本文提出 PhyEvolve 框架。该框架包含导演、物理演化和作曲三个智能体,通过结构化状态演化规划将自然语言提示转化为具有因果联系的状态转换序列。
推荐理由:提出多智能体框架通过结构化状态演化规划增强提示词,在不重新训练现有生成模型的情况下提升视频生成的物理一致性与状态连续性。
论文提出了 AgentDreamer,这是一个由智能体引导的优化框架,旨在通过显式的三维运动规划将文本指令与仿真运动对齐。给定文本指令和场景几何,现成的智能体将其转化为结构化语义运动先验(指定移动对象、方向及时间顺序),并用参数化函数表示以生成密集三维轨迹。
推荐理由:提出 AgentDreamer 框架,利用智能体生成语义运动先验并优化可微 MPM 模拟器以对齐文本指令与物理可行运动。
针对现有机器人建图方法在语义上下文与计算成本间的权衡难题,论文提出 OASIS 统一系统,利用稀疏锚点节点整合多模态表征以支持推理、验证与导航。系统在仿真和真实环境中演示了复杂开放词汇检索、动态环境导航以及在场景变化后对位移物体的重定位能力。材料为预印本,已获 ACM Multimedia 2026 口头报告录用。
推荐理由:提出基于锚点的在线推理系统,在仿真与真实环境中验证了动态场景下的开放词汇检索、导航及物体重定位能力。
SplatLab 是一个针对 3D Gaussian Splatting 领域的自主研究系统,解决了现有系统在模板限制和可执行性上的不足。该系统能根据提示或论文链接复现基线、提出扩展方案并在 Mip-NeRF 360 等数据集上训练消融实验,同时将手稿中的每个数据点绑定到具体的日志运行记录。
推荐理由:该系统实现了端到端的自主科研闭环,能复现基线、提出扩展并绑定实验数据生成手稿。
NVIDIA 扩展了 Cosmos 平台,推出新的训练工具、仿真检查点和 Cosmos Data Factory 蓝图,帮助开发者快速构建用于理解与模拟现实世界的世界模型。
推荐理由:NVIDIA Cosmos 平台新增数据工厂蓝图与训练工具,支持多模态合成数据生成及开源模型适配,旨在加速物理 AI 系统的开发与部署。
文远知行因基于 GENESIS 通用仿真模型与 WITT 认知基础模型的物理 AI 闭环,入选 WICV 2026“2026 年十大汽车 AI 应用案例”。CEO Tony Han 在主题演讲中分享了将 L4 自动驾驶技术应用于 L2 ADAS 的经验,强调以算力密度衡量智能水平并坚持安全优先。
推荐理由:文远知行因基于 GENESIS 与 WITT 的物理 AI 闭环入选 WICV 2026 十大案例,展示了从 L4 技术向 L2 ADAS 迁移及规模化部署的路径。
本文介绍 ASPIRE(Agentic Skill Programming through Iterative Robot Exploration),一种在代码即策略范式下自主编写和精炼机器人控制程序的持续学习系统。
推荐理由:提出 ASPIRE 系统,通过闭环执行引擎与技能库实现机器人控制程序的自主编写与迭代优化。
针对世界模型在物理条件超出训练分布时精度下降的问题,本文研究了输入选择与计算机制两个因果建模组件。在合成基准中,冻结的依赖掩码将 OOD 均方根误差从 1.769 降至 0.697;在 CausalWorld 机器人连杆质量外推任务中,引入显式仿射系数的指端局部世界模型,使已知 PD 控制器下的关节 R2 中位数从 0.609 提升至 0.727。
推荐理由:该工作通过显式参数化动力学偏置项,使因果世界模型在物理参数发生偏移时仍能保持预测精度。
PCLA-Bridge 是一个无需活跃 CARLA 服务器即可运行未修改 CARLA Leaderboard 智能体的工具,支持从任意传感器源到任意控制目标的部署。
推荐理由:PCLA-Bridge 框架允许在不修改 CARLA Leaderboard 模型的情况下,将其跨域部署到 MetaDrive、AWSIM 等仿真引擎及真实数据流中。
针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。
推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。
针对 VLA 模型在复杂长视界技能学习中面临的延迟信用分配与子任务掌握不平衡问题,本文提出 AtomicRL 框架。该方法引入语义感知策略优化(SAPO)以约束跨任务边界的信用污染,并通过瓶颈自适应目标探索(BATE)动态协调采样与局部探索。
推荐理由:提出 AtomicRL 框架解决长视界操作中的信用分配与瓶颈问题,在仿真及真机部署上均优于 PPO。
该论文探讨如何将数字代理中的递归自我改进(RSI)机制迁移至物理世界,重点分析在部分观测、昂贵试错及不可逆后果下实现系统自优化的条件。作者梳理了现有研究在操作任务中支持的行为改进与流程优化成果,指出当前物理领域尚未完全隔离出由递归带来的增益。文章据此提出评估原则并指明未来研究方向,旨在建立机器人在反复试验中安全提升自身改进能力的理论框架。
推荐理由:文章提出将递归自我改进机制引入物理世界的评估原则与研究路径,为机器人能力与生成过程的协同进化提供理论框架。
论文提出一种将欧氏距离场(EDF)直接整合进观测空间的强化学习框架,利用其丰富的空间信息简化奖励函数设计,实现了无需人工势场引导的有效避障。该方法在 7 自由度冗余机械臂上验证了从仿真到实体的零样本迁移能力,尽管仅用随机化静态物体训练,策略仍能泛化至未见过的真实环境并稳健地规避动态障碍物。材料为预印本状态,已接受于 IROS 2026。
推荐理由:该工作将欧氏距离场融入 RL 观测空间,在仿真中训练的策略实现了零样本迁移到真实机械臂,且能应对动态障碍物。
论文提出 SMR,一种基于语义条件的流式神经运动重定向方法。该方法将人类动作转换为机器人感知的任务空间目标,利用在仿真中受接触、动力学和执行器约束的物理专家直接跟踪这些目标,并训练单因果 Transformer 对执行后的状态轨迹进行建模。实验表明,相比直接优化和物理修正基线,该方法在保持语义保真度和物理有效性的同时,实现了更优的闭环控制性能。
推荐理由:提出 SMR 方法,利用语义条件物理专家在仿真中生成符合动力学约束的运动轨迹,并通过因果 Transformer 实现流式重定向。
HyperDrone 是一个专注于高性能批量渲染的四旋翼模拟器,其渲染速度比现有最先进方案快 20 倍以上。该系统结合优化的多旋翼动力学与 HyperLux 光追引擎,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,完全在 GPU 上运行。
推荐理由:HyperDrone 结合多旋翼动力学与 HyperLux 光追引擎,在消费级 GPU 上实现百万帧每秒的渲染速度,支持将纯仿真训练的视觉策略迁移至真实四旋翼。
DeepEvolve 是一个基于未来事件预测的可持续进化智能体系统,通过与动态变化的环境交互实现内部与外部经验的积累。该系统通过解耦搜索与预测适应开放环境,并利用蒸馏技术从有限轨迹中演化出可复用技能。
推荐理由:DeepEvolve 系统展示了基于动态开放环境的递归自我进化框架,在真实事件预测榜单上连续三周排名第一。
英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。
推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。
上海AI实验室联合中国科学院金属研究所等机构发布自进化合金设计专家模型“书生·衍金”(AlloyEvo)。该模型通过自主设计方案、智能评估性能并沉淀经验,在航空航天3D打印工程钛合金研发中实现突破:样品抗拉强度达1817MPa,较现有基准提升12.8%,均匀延伸率持平。AlloyEvo已集成至书生·端砚科学发现平台,支持高温合金、特种钢等新材料体系的设计与研发。
推荐理由:上海AI实验室联合多方推出自进化合金设计专家模型AlloyEvo,在工程钛合金研发中实现抗拉强度提升12.8%的突破。
论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。
推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。