重新思考视频自编码器以构建交互式世界模型:CADRE 系列研究
论文提出 CADRE,这是一个开放的因果扩散表示自编码器家族,旨在解决现有视频世界模型复用文本生成模型且无法针对代理等待时间进行压缩优化的问题。该系列通过冻结特征瓶颈和蒸馏解码器,在操作(manipulation)与导航(navigation)两个领域的四个环境中训练,探索了不同时空压缩策略对延迟 - 质量前沿的影响。
论文提出 CADRE,这是一个开放的因果扩散表示自编码器家族,旨在解决现有视频世界模型复用文本生成模型且无法针对代理等待时间进行压缩优化的问题。该系列通过冻结特征瓶颈和蒸馏解码器,在操作(manipulation)与导航(navigation)两个领域的四个环境中训练,探索了不同时空压缩策略对延迟 - 质量前沿的影响。
针对现有世界模型在观测中难以捕捉物体质量分布、关节阻尼等物理属性导致预测回归经验先验的问题,本文提出 PhysiCalWorld 方法。该方法通过端到端训练,将测试场景内的探索性交互片段编码为紧凑的物理描述符 token,无需微调或解析物理建模即可校准动作条件化的世界模型以适配实例特定动力学。
推荐理由:提出无需微调的上下文物理校准方法,通过探索性交互片段生成紧凑描述符以修正世界模型的物理漂移。
论文定义多模态具身智能体(MMEA)为耦合多模态任务推理与物理动作的系统,提出PAPAV框架以感知、预测、规划、行动和验证五种功能重新审视该领域。研究指出当前评估过度依赖任务成功,而忽视对预测和验证能力的考察,并分析了从电脑使用转向机器人使用时面临的物理约束挑战。
该研究在模拟 Unitree G1 上训练策略,发现地球训练的模型在月球平坦刚性地面生存率为 0.64 至 0.75,而月球训练策略无法站立于地球。粗糙地形训练将地球和月球的综合瓦片生存率分别提升至 0.98 和 0.99,且重力随机化策略在关键测试单元的平均生存率至少为 0.84(地球)和 0.96(月球)。所有结果均为基于接触模型与土壤刚度的仿真预测。
AirPlayground 是一个用于训练和评估空中导航策略的统一基准。研究团队构建了 94 个具有对齐碰撞几何的真实感 3D Gaussian Splatting 环境,涵盖室内、城市户外及植被场景。
该论文探讨如何将数字代理中的递归自我改进(RSI)机制迁移至物理世界,重点分析在部分观测、昂贵试错及不可逆后果下实现系统自优化的条件。作者梳理了现有研究在操作任务中支持的行为改进与流程优化成果,指出当前物理领域尚未完全隔离出由递归带来的增益。文章据此提出评估原则并指明未来研究方向,旨在建立机器人在反复试验中安全提升自身改进能力的理论框架。
推荐理由:文章提出将递归自我改进机制引入物理世界的评估原则与研究路径,为机器人能力与生成过程的协同进化提供理论框架。
AutoPhyX 提出一种文本条件的空间变化物理属性预测框架,通过部分可控数据生成管线与跨模态调制机制解决视觉输入固有的歧义性。该方法在体素场中确保与网格、点云及 NeRF 等多种三维表示兼容,单次前向传播即可实现高准确度的物理参数分配并泛化至野外物体。实验表明其能支持未来对物理密集型具身智能和机器人应用的需求。
该论文提出 PRISM 框架,将传感器噪声解耦为感知失效与测量不准两种模态,利用视觉基础模型特征作为先验进行物理推理。针对失效区域稀疏问题,采用分层正样本优先监督策略。基准测试显示该方法在噪声深度合成中达到最先进保真度,下游机器人实验平均成功率提升至 92.1%,显著优于单一黑盒基线。
这篇论文提出了一个将流匹配(flow matching)路径规划与模型预测路径跟踪控制(MPPC)相结合的框架,旨在解决基于扩散的路径规划器在部署时缺乏约束满足和避障机制的问题。
该文介绍 SimPT(Simulation-based Post-Training),一个集成策略 rollout、修正数据采集、策略训练及独立评估的自动化仿真框架,旨在解决人类在环后训练中监督成本高和重复实机评估受限的问题。
PhyMo 是一个从多视角视频中恢复动态三维场景几何、外观及物理运动状态的框架。针对渲染监督下模型易通过改变颜色或透明度来补偿变形误差的问题,该工作引入运动感知轨迹表示以驱动模型从形变中恢复真实运动,并设计连续运动演化模块施加双向运动学连续性约束,确保位移、速度和加速度的时间一致性。实验在四个动态场景基准上展示了最先进性能。
HyperDrone 是一个专注于高性能批量渲染的四旋翼模拟器,其渲染速度比现有最先进方案快 20 倍以上。该系统结合优化的多旋翼动力学与 HyperLux 光追引擎,支持 Nvidia OptiX、Vulkan、Apple Metal 和 WebGPU 后端,完全在 GPU 上运行。
推荐理由:HyperDrone 结合多旋翼动力学与 HyperLux 光追引擎,在消费级 GPU 上实现百万帧每秒的渲染速度,支持将纯仿真训练的视觉策略迁移至真实四旋翼。
该研究提出一种无需力/力矩传感器的物理人机交互(pHRI)控制框架,通过神经网络补偿摩擦与未建模动力学以提升观测器性能。实验表明该方法在保持末端位姿与力跟踪精度的同时实现了鲁棒的广义力估计。此方案适用于多种缺乏专用传感器的人机协作机器人平台。
英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。
推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。
美国具身智能初创企业 Eka Robotics 近日宣布完成 1.5 亿美元的 A 轮融资,投后估值约 14.5 亿美元。本轮由 a16z 和 F-Prime 联合领投,三星等机构跟投。公司专注于研发重视力反馈的 VFA(Vision-Force-Action)机器人基础模型及自研灵巧夹爪,采用物理仿真与强化学习相结合的技术路线。目前正与多家工业客户开展试点合作。
钟志华团队与清华大学合作,利用 AI 赋能 CAE 仿真使分析效率提升 10 至 200 倍且精度同步优化。该技术已覆盖碰撞、结构性能优化及振动噪声等复杂计算场景,同时推动商用车“引导式自动驾驶”商业化落地。
针对长周期任务中代理单次成功但重复运行失败的稳定性问题,论文提出了 RiseHarness 框架。该框架在固定模型权重的前提下,通过翻转同一配置下的成功与失败轨迹,结合运行时监控的内部痕迹分析模型动作与命令执行、反馈及上下文管理的交互机制。
Gibson Virtual Environment 提出基于真实空间虚拟化的环境,包含来自 572 栋建筑的超 1400 个楼层空间。该环境内置"Goggles"合成机制,支持无需额外域适应即可在真实世界部署模型,并体现物理与空间约束。代码、数据集及项目网站已开放访问。
论文提出 NeoWorld-Pro 框架,利用多模态大模型的零样本推理与代码合成能力,将单张 RGB 图像转化为指定物体几何、关节及物理属性的可执行程序,并通过物理引擎闭环迭代修正生成结果。实验表明该方法优于开环及现有单目重建方法,支持稳定堆叠等复杂下游任务。材料为 NeurIPS 2026 接收的预印本,未报告真实机器人部署结果。
针对过驱动多旋翼分配中贪婪策略导致指令跳变、努力最小化策略无法保证权限的问题,提出基于对数行列式度量与控制屏障函数的新方法。该方法在六旋翼与八旋翼仿真及 300 次随机任务中,将硬力矩误差降低 79 倍且从未离开认证集。鲁棒变体在全部 150 个扰动系统上保持权限下限,支持未建模气动与延迟下的闭环控制。
论文介绍了 Kamino,这是一个基于 NVIDIA Warp 和 Newton 框架实现的 GPU 物理求解器,旨在解决复杂机械系统中强耦合的运动学与动力学约束问题。
推荐理由:该工作提出基于 GPU 的刚性多体物理求解器 Kamino,原生支持运动学闭环与异构机器人批量仿真,为强化学习策略训练提供了高保真环境。
该论文介绍 Planning Under Noise (PUN),这是一种学习噪声感知价值场的神经算子,用于在不熟悉几何结构中进行规划。研究针对随机最优控制中的边界条件与梯度计算挑战,提出使用反射 Neumann 条件和 Dirichlet 目标条件,并将 Monte Carlo 求解器扩展至高维。
该研究提出一种分布式车队控制器,保障多车系统在无信号灯路口实现安全且平滑的穿越。通过闭环路径设置与切换系统指数收敛分析,证明在温和增益条件下可确保瞬态期安全及稳态期同速避撞。有效性已在高保真 CARLA 仿真器中利用多款商用车辆模型得到验证。
针对部分可观测性下无人机导航及远程接管后恢复自主性的挑战,本文发现标准循环策略在中断后会因上下文改变导致任务变量解码困难且增加碰撞风险。为此提出三种中断感知架构,通过独立特征流、专用中断记忆或门控环境特征来条件化循环处理。仿真结果显示,最强架构相比基准将中断后的碰撞减少 74%,任务失败降低 69%,且不损害无中断时的性能。
这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。
论文提出了 SceneRig 系统,旨在解决仅靠视觉相似性不足以支撑机器人仿真的问题。该系统结合几何、视觉和物理工具重建忠实 3D 场景,并通过智能体在物理模拟器中执行编辑与验证循环以确保物理稳定性。
论文提出 SuperMimic 方法,通过拟合标准刚体仿真器的日志过渡数据构建单一可微世界模型,与跟踪策略在单循环中联合训练并利用时间反传播获取解析梯度。该方法在单 GPU 上 3 小时即超越基线(128 GPU 训练 7 天),将 GPU 工时降低超 1000 倍,并在 129,514 个基准动作中仅失败 25 次;经过 9.8 小时双 GPU 训练后实现零失败。
推荐理由:该工作提出用可微世界模型统一处理全身运动跟踪,将训练时间从 7 天降至 3 小时且失败率大幅降低。
MARE(Modular Autonomy and Rendering Environment)是一个基于 Unreal Engine 5 和 ROS 2 的开源仿真套件,专为月球车在极端光照条件下的感知与自主导航设计。
该研究对 GPT-6 Astra 模型进行系统评估,发现其在 RoboDojo 和 RoboTwin 2.0 等基准上表现尚可,但在几何约束任务、精确动作规划及物理安全方面存在明显短板。作者提出了新基准 LIBERO-GeoMotion 以考察空间理解向可行运动的转化难度,并通过真实实验证实了模型在运动可行性与控制精度上的不足。
该论文指出,尽管增强的视觉语言动作(VLA)驾驶模型能感知危险并推理安全,但轨迹生成仍受自身速度历史主导,导致无法及时制动。作者通过在冻结的流匹配采样器中注入条件化能量,在不修改权重的情况下成功修复了 Alpamayo-1.5 模型的制动失效,将障碍物侵入率从 58.1% 降至 14.5%,并在闭环测试中消除了碰撞。
推荐理由:原文揭示了感知与行动解耦问题,并通过注入条件能量在无需重训的情况下修复了 Alpamayo-1.5 模型的制动失效。
研究针对 HAKUTO Rover Flight Model 设计了热接口方案,通过解析模型与数值仿真优化了电子设备安装位及太阳能板角度。最终在真空环境中完成热平衡测试,确保 rover 质量低于 4 kg 并满足月球辐射等热学条件。该成果已在德国不来梅举行的第 69 届国际宇航大会(IAC)上提交论文。
该论文针对机器人部署中的安全与任务可行性问题,提出了一种名为 PVF 的自监督方法,用于计算在随机且可能无界扰动下的可达避免集合。相比传统处理对抗性扰动的哈密顿 - 雅可比方法,该方法能提供更准确且不保守的概率集,并在包括 Hopper 运动控制在内的复杂系统中进行了评估验证。
MedGemma 模型在三组医学数据集上揭示了渐进式图像证据损失导致的“海市蜃楼”现象,其边界后行为异质性包含直接幻觉等模式。残差流探针能以 0.895 至 0.994 的 AUROC 精准解码模型在边界的承诺或放弃行为。该研究为部分观测下的可靠医学基础模型评估提供了基于证据边界的框架与改进机制。
针对通用机械臂在眼科手术软件远程中心点(RCM)任务中出现的约束诱导奇异问题,研究提出一种内置奇异恢复的高精度伺服架构。该架构通过权限引导规划器选择良态构型并规划 RCM 一致路径,由分层二次规划控制器执行。
针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。
该研究提出一种面向智能驾驶的代理中心物理感知框架,从 NGSIM US-101、highD 和 exiD 等多源数据中发现了自适应均衡响应模型(AERM)。在包含上海自然主义驾驶数据的七种经典跟车模型基准测试中,经轨迹特定校准的 AERM 将间距均方根误差分别降低 9.11%、7.59% 和 21.73%,展现了优于最强基线的拟合灵活性与可解释性。
arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。
推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。
针对受扰环境中四旋翼飞行的可靠性问题,本文提出了一种扰动感知的 Koopman 控制家族(DA-KCF)框架。该方法在离线阶段基于仿真数据学习参考依赖的 KCF 并利用有限硬件数据进行校准,部署时固定名义模型并在线通过轻量级残差集成学习低维扰动修正。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
针对视觉语言动作(VLA)模型对视觉干扰敏感但难以判断去除干扰是否有益的问题,提出一种无需成对策略回滚的因子化风险模型。该方法通过潜在干预从当前图像和任务指令中估计去除收益,在 OpenVLA 与 pi_0.5 仿真及 Franka 机器人上验证了优于单体模型和视觉语言模型基线的效果,误差约为前沿 VLM 的三分之一,并支持在线故障监控。
推荐理由:提出一种无需成对数据即可估计去除图像噪声收益的因子化风险模型,在仿真与硬件上优于基线。