跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 5 页

11月10日周二第 81–100 条
  1. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  2. arXiv · 机器人与计算机视觉85

    Planners Exploit Deterministic Error: Dithered Low-Bit World Models

    论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。

    推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。

  3. arXiv · 机器人与计算机视觉83

    BAT-WAM:连接动作与触觉的世界 - 动作模型用于灵巧手

    BAT-WAM 是一种针对世界 - 动作模型(WAMs)的框架,旨在解决灵巧操作任务中关节状态和全手掌触觉观测缺失的问题。该框架通过 RGB 条件化的连续潜在桥梁连接触觉流与动作流,实现双向学习,并利用视觉信息作为连续上下文。

    推荐理由:BAT-WAM 框架通过视觉与触觉表征的双向桥梁,在掩码条件下显著降低触觉重建误差,并在真实机器人实验中优于基线。

  4. arXiv · 机器人与计算机视觉85

    Latent-WAM++:面向端到端自动驾驶的世界与动作表征塑造

    论文提出 Latent-WAM++,一种面向端到端自动驾驶的以表征为中心的世界动作模型(WAM)。该方法通过场景 - 自车未来预测、SIGReg 分布稳定化及冻结几何先验构建世界表征;利用改进的 MeanFlow 速度空间目标直接预测多模态轨迹提议并实现一步采样;同时对齐视觉语义衍生的停止梯度目标以优化预输出动作特征。

    推荐理由:该工作提出 Latent-WAM++,通过重塑中间表征监督与冻结几何先验,在 NAVSIM v2 实现 SOTA 性能并将端到端规划器训练成本降低 88.1%。

  5. arXiv · 机器人与计算机视觉83

    Grip, Trace, Write:面向高自由度机器人书写的力感知模仿与强化学习框架

    论文提出 Grip, Trace, Write 框架,构建力感知仿真环境以解决传统刚性安装笔的局限。该方法采用双分支 Actor 解耦握笔稳定性与手臂腕部书写动作,保留闭环耦合关系;训练流程先通过行为克隆初始化逆运动学演示,再利用墨水、接触力、时间和握持奖励进行强化学习优化。实验表明该策略在多种任务中提升了完成度、精度和效率,且无需微调即可泛化到未见过中英文内容,为灵巧工具使用提供了测试基准。

    推荐理由:该工作提出力感知仿真环境,通过双分支策略解耦握笔与书写并强化学习优化,在未见中英文内容上实现泛化。

  6. arXiv · 机器人与计算机视觉82

    Mental Imagery That Matters:治愈多模态推理中的潜在坍缩

    该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。

    推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。

  7. arXiv · 机器人与计算机视觉76

    面向人与类人机器人运动的统一惯性编码器

    该研究提出一种统一惯性编码器,通过运动学 IMU 合成在共享输入空间下联合训练人类与类人机器人数据,结合连续时间编码及传感器随机化。模型无需物理仿真、真实机器人训练轨迹或微调,即可零样本迁移至宇树 G1 实体机器人,在五个数据集上实现最低速度误差(G1 实机为 0.099m/s),并支持仅基于人类数据训练的类人机器人运动描述检索与泛化。

    推荐理由:提出统一惯性编码器,实现从人类运动到宇树 G1 机器人的零样本迁移与速度估计。

  8. Hugging Face Daily Papers78

    世界模型需要多少曝光才能学会未见过的游戏机制?

    论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。

    推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。

  9. NVIDIA Blog · Physical AI84

    NVIDIA 发布 GR00T 2 世界动作模型与 Isaac Lab 3.0 仿真平台

    NVIDIA 在 CoRL 大会上推出 GR00T 2 开放世界动作模型,支持灵巧操作技能迁移与少样本泛化;同时发布 Isaac Lab 3.0 框架集成 Newton 物理引擎以模拟变形物体。材料介绍了多项新基准、数据工作流及智能体编程工具,旨在提升机器人从实验室演示到工业部署的精度与自主性。

    推荐理由:NVIDIA 在 CoRL 大会上推出 GR00T 2 世界动作模型及 Isaac Lab 3.0,提供传感器与变形物体的高保真仿真工具链。

  10. Berkeley BAIR Blog74

    UC Berkeley BAIR 团队亮相 CoRL 2026:发布多篇论文与开源工具

    UC Berkeley BAIR 团队在 CoRL 2026 会议上展示多项机器人学习成果,包括早期职业主题演讲、33 篇主会论文及 4 个 Late-breaking results 海报。

    推荐理由:UC Berkeley BAIR 团队在 CoRL 2026 会议展示多项机器人学习成果,涵盖从具身记忆、灵巧操作到世界模型及仿真工具的最新进展。

11月9日周一
  1. arXiv · 机器人与计算机视觉81

    FlowSim:免渲染的端到端驾驶系统闭环仿真方法

    针对传统闭环评估依赖图像生成与感知重编码导致成本高且存在仿真实隙的问题,本文提出 FlowSim 这一免渲染仿真范式。该方法直接从上一帧潜在表示和目标帧符号场景条件预测内部潜在表示,绕过图像渲染和感知重编码步骤。

    推荐理由:提出免渲染的闭环仿真范式 FlowSim,直接预测潜在表示以加速端到端系统评估。

  2. arXiv · 机器人与计算机视觉82

    基于潜在黎曼流匹配的几何锚定 3D 基础模型研究

    针对现有几何基础模型(如 VGGT)确定性操作且无法生成超出观测支持的合理几何结构的局限,本文提出在潜在空间直接进行流匹配的方法。该方法利用学习到的 3D 先验,无需显式表示(如高斯、网格或视频 VAE 潜变量),并通过黎曼流匹配尊重潜在空间的几何结构(零均值超球面乘积流形)。

    推荐理由:该方法在几何基础模型的潜在空间直接进行黎曼流匹配,无需显式表示即可生成合理的 3D 几何结构。

  3. arXiv · 机器人与计算机视觉78

    用测试时基于模型的强化学习在世界模型中编码记忆

    针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。

    推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。

  4. arXiv · 机器人与计算机视觉83

    A Stochastic Latent Variable Generalization of Joint-Embedding Predictive Architectures

    该论文提出了 S-JEPA 模型,将联合嵌入预测架构中的辅助变量 z 从固定确定性 token 扩展为随机潜变量。通过训练时学习后验分布和推理时使用上下文条件先验分布,该方法在无需解码器和重建的情况下实现了掩码图像预测。研究结果表明,引入随机性不仅保持了与确定性 I-JEPA 相当的表征质量,还显著提升了错误相关的预测不确定性和生成结果的多样性,并输出了空间结构化的不确定性图。

    推荐理由:提出将辅助变量改为随机潜变量的 S-JEPA,在保持表征质量的同时提升预测不确定性估计与生成多样性。

11月8日周日
  1. Hugging Face Daily Papers78

    Spatial Harness:基于物理引擎的可执行世界状态实现空间推理落地

    Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。

    推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。

11月7日周六
  1. Hugging Face Daily Papers82

    WorldFoundry:迈向世界智能的统一基础设施技术报告

    该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。

    推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。

11月6日周五
  1. 上海人工智能实验室 · 科研动态77

    上海AI实验室发布书生·天枢自主实验室操作系统

    上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。

    推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。

  2. arXiv · 机器人与计算机视觉83

    GigaBrain-WBC-0.5:一种用于人形机器人稳健全身追踪的行为世界模型

    该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。

    推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。

  3. arXiv · 机器人与计算机视觉82

    WoVR:作为可靠仿真器的世界模型用于 VLA 策略后训练 RL

    论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。

    推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。

  4. arXiv · 机器人与计算机视觉78

    模拟视角的几何:在 Qwen3-VL-8B-Instruct 中解耦表征与行为

    该研究调查了 persona-conditioned visual interestingness 在 Qwen3-VL-8B-Instruct 中的表征几何,发现早期层主要编码图像身份,而特定人物结构出现在深层。提示词框架对内部表征的重塑作用强于人物身份,但人物内容对行为判断影响更大,表明表征距离不一定反映行为相关性。

    推荐理由:揭示了多模态大模型中表征几何与行为判断的解耦机制,为理解模拟视角的内部运作提供了新证据。