跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 15 页

10月21日周三第 281–300 条
  1. arXiv · 机器人与计算机视觉78

    Towards Consistent Geospatial Representations: Aligning One Encoder to Many Foundation Models

    Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。

    推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。

  2. arXiv · 机器人与计算机视觉78

    SplatFlux:基于视频潜变量的前馈式 4D 高斯重建与生成框架

    该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。

    推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。

  3. arXiv · 机器人与计算机视觉82

    World2HOSI:一种用于长程人机物场景交互生成的多专家编排框架

    论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。

    推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。

  4. arXiv · 机器人与计算机视觉82

    NeoWorld-3:从像素到由代码定义的物理世界

    arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。

    推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。

  5. Hugging Face Daily Papers82

    Learning the 4D World through Point Trajectory Forecasting

    论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。

    推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。

  6. 智东西 · 机器人82

    Dream Labs 发布世界动作模型 Dream-1 并开放 API

    美国具身大脑公司 Dream Labs 宣布完成种子轮融资,并发布世界动作模型 Dream-1。该模型通过预测末端执行器位姿实现零样本泛化,可控制从未见过的双臂平行夹爪机器人执行新任务。Dream Labs 正式开放 Dream API,提供每小时 3 美元的调用服务及仿真微调选项。测试显示其在性能、速度和成本上具备优势,但零样本成功率在未见任务中约为 9%。

    推荐理由:Dream Labs 完成融资并开放 Dream-1 世界动作模型及 API,支持零样本跨机器人控制与仿真微调服务。

10月20日周二
  1. arXiv · 机器人与计算机视觉82

    无梯度噪声优化用于生成模型的奖励对齐

    针对现有扩散和流模型的奖励对齐方法依赖多步随机轨迹且难以扩展至确定性生成器的局限,本文提出 ZeNO(Zeroth-order Noise Optimization)框架。

    推荐理由:提出无需反向传播的噪声空间优化框架,解决扩散与流模型在不可微生成器上的奖励对齐难题。

  2. arXiv · 机器人与计算机视觉82

    UniW(A)M:一种用于世界与世界 - 动作模型的统一混合专家框架

    论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。

    推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。

  3. arXiv · 机器人与计算机视觉82

    LynxScenes:面向户外轮足机器人的大规模现实世界基准数据集与评测套件

    arXiv 预印本介绍 LynxScenes,这是一个基于 LYNX M20 轮足机器人采集的大规模户外现实世界数据集与基准。数据包含约 10 万段 30 秒导航片段(总时长 833.6 小时、里程 3,294.7 公里)及 300 万帧标注,涵盖四路鱼眼相机、双激光雷达、IMU、里程计与机器人状态。

    推荐理由:该基准提供轮足机器人户外导航、感知与世界模型的密集标注数据及评估工具,可帮助研究者验证现有方法在真实场景下的不足。

  4. arXiv · 机器人与计算机视觉82

    GRAIL:基于世界模型生成人形机器人移动与操作策略

    GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。

    推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。

  5. arXiv · 机器人与计算机视觉78

    Any 3D Scene is Worth 1K Tokens:基于3D接地表示的大规模场景生成

    该论文提出在由强大2D基础模型(如DINOv2、SigLIP2等)导出的高维隐式3D潜空间内直接进行场景生成,以解决传统2D多视图方法存在的表征冗余和空间一致性受限问题。

    推荐理由:原文提出在基于2D基础模型的3D隐式潜空间直接进行场景生成,实验验证了该方法在效率与空间一致性上的优势。

  6. arXiv · 机器人与计算机视觉82

    OccSim:首个无需 HD 地图与日志布局的千米级长视界占用世界模型仿真器

    该论文提出 OccSim,这是首个不依赖预记录驾驶日志或 HD 地图等空间先验的 3D 占用世界模型驱动仿真器。系统仅需初始帧和自车动作序列即可稳定生成超过 3000 个连续帧(较此前最先进方法提升 80 倍),并融合成跨度超 9 公里的地图,定性测试甚至可滚动至 11 万帧以上。

    推荐理由:该工作提出首个无需 HD 地图或日志布局的 3D 占用世界模型仿真器,生成长度提升 80 倍并支持超千米范围合成数据。

  7. arXiv · 机器人与计算机视觉80

    在线世界建模实现真实世界的观察逆强化学习

    当前机器人学习受限于手工设计奖励、仿真建模或动作监督。本文提出首个仅凭任务观察(如视频)即可学习的逆强化学习方法 IRLfO,并展示了首个在真实世界中从零开始学习视觉操作及跨任务正迁移的演示。MPAIL2 模型在不到 40 分钟内从零基础学习到抓取放置任务达到 82% 成功率,而同等交互和演示预算下的强化学习与行为克隆方法分别仅达 0% 和 12%。

    推荐理由:该工作提出首个基于在线世界模型的视觉操作逆强化学习方法,在真实世界中实现从观察学习抓取放置任务。

  8. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  9. arXiv · 机器人与计算机视觉84

    PICA-WAM:通过跨外观自对齐实现视觉扰动不变性的世界动作模型研究

    论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。

    推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。

  10. arXiv · 机器人与计算机视觉84

    PrismWAM:在世界动作模型中解耦状态表示

    论文提出 PrismWAM,旨在解决世界动作模型(WAM)将外观与物理构型纠缠的问题。该方法将世界状态分离为语义上下文和受物理规律支配的演化过程,构建了从语义规划到物理卷展再到可执行动作的流水线。

    推荐理由:提出将语义与物理状态解耦的 PrismWAM,仅凭 RGB 输入在仿真和真实环境中实现操作性能超越大规模预训练基线。

  11. arXiv · 机器人与计算机视觉78

    VLDA:将全量未来预测重构为紧凑的动作可执行过渡建模

    论文提出 Vision-Language-Delta-Action (VLDA) 范式,旨在解决现有视觉语言动作模型直接学习观测到动作映射的学习负担过重问题。该方法通过引入紧凑的 Delta 变量作为世界状态变化的接口,利用局部过渡滤波器抑制静态重建偏差,并结合全局过渡锚点与动作流形引导进行优化。

    推荐理由:VLDA 提出用紧凑的 Delta 变量替代直接动作预测,通过 LoongForge 框架验证了其在长程一致性与泛化上的优势。

  12. arXiv · 机器人与计算机视觉83

    ActionRoPE:以动作为坐标实现平面相机游戏世界模型的时空一致控制

    针对平面相机游戏(如俯视和等距视角)中动作控制依赖特征条件导致空间不一致的问题,本文提出 ActionRoPE 这一无参数动作接口,将动作驱动的光学位移直接转换为世界坐标旋转位置,使同一世界位置的 token 地址随时间保持不变。

    推荐理由:提出 ActionRoPE 接口将动作转化为世界坐标,配合 CNS 调度策略,显著降低平面相机游戏世界的重访漂移并提升控制保真度。

  13. arXiv · 机器人与计算机视觉78

    向量量化世界模型:面向机器人操作的潜在反馈运动规划

    针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。

    推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。

  14. arXiv · 机器人与计算机视觉85

    目标图像即控制目标:用于机器人操作的基于空间的 grounded 目标图像合成研究

    该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。

    推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。