跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 4 页

11月11日周三第 61–80 条
  1. arXiv · 机器人与计算机视觉82

    Generative Scenario Rollouts for End-to-End Autonomous Driving

    论文提出了 Generative Scenario Rollouts (GeRo) 框架,旨在解决当前端到端自动驾驶系统过度依赖稀疏轨迹标注模仿学习的问题。该框架将 VLA 模型作为规划器,通过自回归策略联合执行规划与基于语言的未来交通场景生成。

    推荐理由:提出 GeRo 框架,利用 VLA 模型进行语言引导的自回归场景生成与规划,在 Bench2Drive 基准上显著提升了端到端自动驾驶的得分与成功率。

  2. arXiv · 机器人与计算机视觉83

    迈向可靠的 VLM 裁判:状态条件不变性与呈现感知诊断

    论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。

    推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。

  3. arXiv · 机器人与计算机视觉83

    从视频帧到机器人元帧:面向世界动作模型的统一潜在接口

    该研究针对世界动作模型(WAMs)需注入低维机器人信号的难题,提出 MetaWAM 方法,将姿态、动作等信号折叠进单一频域通道并通过逆 DCT 提升,无需增加模块即可对齐预训练视频扩散模型的先验。在 RoboCasa 基准上成功率达 68.9%,推理延迟降低 39%;在三项真实 Franka 任务中成功率为 85.0%。代码与模型已公开。

    推荐理由:提出 MetaWAM 统一接口,将机器人信号折叠进单一频域通道,无需额外模块即可对齐预训练视频扩散模型的先验分布。

  4. arXiv · 机器人与计算机视觉78

    Elastic-WAM:自适应时空想象用于高效机器人控制

    该论文针对世界动作模型(World-Action Models)迭代视频去噪带来的高推理开销问题,提出 Elastic-WAM 方法。该方法通过自适应分配时空细化计算资源,统一调控何时停止世界细化、每步推进多远以及刷新哪些区域。研究在多样化仿真基准和真实长程操作任务中评估,结果显示其兼具最先进的控制性能与更低的推理延迟。材料为预印本论文,未提及具体开源代码或模型权重下载链接。

    推荐理由:提出弹性计算分配机制,在仿真与真实长程操作中实现控制性能领先且降低推理延迟。

  5. arXiv · 机器人与计算机视觉78

    无模型运行时任务相关信息测量方法

    针对现有系统缺乏对信息收集过程有效性的监测问题,本文提出了 Acquisition-State Telemetry (AST),一种无需训练即可评估信息获取状态的架构。

    推荐理由:提出无模型架构 AST,通过实时监测信息获取摩擦与进展信号,帮助自主系统在任务完成前识别无效停滞并优化策略。

  6. arXiv · 机器人与计算机视觉78

    LaST0.5:一种具备交互中心潜在推理的通用世界动作模型

    论文提出了 LaST0.5 这一新型世界动作模型(WAM),旨在解决现有模型全球场景表征忽视局部机器人 - 物体交互的问题。该模型在混合 Transformer 架构中引入交互中心潜在专家,利用视觉交互线索学习紧凑的潜在空间,并通过自适应的世界到动作转移机制调整执行与重采样。

    推荐理由:提出 LaST0.5,通过引入交互中心潜在空间弥合世界演化与操作生成的表征差距。

  7. arXiv · 机器人与计算机视觉78

    DisasterAgent:一种基于证据的代理,用于从遥感影像生成可验证的灾害报告

    针对遥感灾害评估需可验证证据的挑战,论文提出 DisasterAgent,采用感知 - 增强 - 生成的工作流。该方法首先调用视觉专家工具包构建时空感知图(STPG)作为结构化记忆,随后通过基于证据的增强(EA)从图中提取证据并附加内联引用,形成闭环验证。

    推荐理由:提出 DisasterAgent,通过时空感知图与证据增强机制生成可验证灾害报告,在基准测试中显著优于通用 VLM 及遥感专用模型。

  8. arXiv · 机器人与计算机视觉78

    预训练潜在世界模型的少样本残差适应

    针对预训练潜在世界模型在部署时因物理动力学改变而失效的问题,本文提出一种无需修改预训练权重或识别具体参数变化的少样本残差适应方法。该方法通过自监督学习从潜在预测误差中获取修正项,同时应用于潜在预测器内部及其预测的潜在状态,且保持预训练世界模型冻结。

    推荐理由:该文提出一种冻结预训练权重的少样本残差适应方法,在质心与摩擦变化场景下恢复机器人控制成功率。

  9. arXiv · 机器人与计算机视觉78

    GEMOR-GS:一种用于 3D 高斯泼溅 SLAM 的全局外参校准优化映射与在线重定位方法

    该论文提出 GEMOR-GS 框架,旨在为连续运行的机器人提供逼真且度量一致的 LiDAR-惯性 - 视觉 SLAM 世界表示。该方法首先通过专用校准段利用直接法对齐离线估计相机与激光雷达的外参,并在标定几何下交替优化关键帧位姿与高斯参数;最终重建全局地图时解除所有限制以提升外观质量。

    推荐理由:提出 GEMOR-GS 方法,通过离线外参校准与在线重定位实现高几何精度与可重入性的 3DGS SLAM。

  10. 盖世汽车 · 汽车资讯78

    禾赛科技三季报:激光雷达与机器人动力模组放量,推出Kosmo世界数据引擎

    禾赛科技公布2026年第三季度未经审计财务数据,营收10.7亿元,连续六个季度GAAP盈利。其中战略增长业务(SGI)营收9,051万元,环比增长101.4%。

    推荐理由:禾赛公布三季报,机器人动力模组出货超3.5万套并进入NVIDIA Isaac GR00T方案,同时发布Kosmo世界数据引擎。

11月10日周二
  1. arXiv · 机器人与计算机视觉85

    MolmoB0T:大规模仿真赋能零样本操作

    论文挑战“仿真无法直接迁移至现实”的共识,证明在足够大规模的合成训练数据下,无需真实数据采集或微调即可实现静态与移动操作的零样本泛化。作者开源了 MolmoBot-Engine 生成管线及包含 170 万专家轨迹的 MolmoBot-Data 数据集,并基于此训练了三类策略模型。

    推荐理由:提出仅靠大规模合成数据即可实现零样本现实世界操作,并开源了生成管线与百万级轨迹数据集。

  2. arXiv · 机器人与计算机视觉78

    SCALE:基于 LLM 引导的经验内化与小模型优先的概念抽象框架

    论文提出 SCALE 框架,旨在让轻量级自主智能体在不依赖昂贵大语言模型推理的情况下持续获取可复用知识。该架构由小模型处理常规预测,仅在预测错误或积累跨回合证据时触发 LLM 进行反思;LLM 分析历史经验并生成反事实示例以提出可复用的概念假设。

    推荐理由:SCALE 框架通过小模型处理常规任务、LLM 仅在误差时介入反思,实现了经验知识的紧凑内化与层级抽象。

  3. arXiv · 机器人与计算机视觉78

    单步世界模型需要多少候选?基于冻结 DINO 令牌的最近邻训练研究

    该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。

    推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。

  4. arXiv · 机器人与计算机视觉78

    基于 Transformer 的无需显式状态估计的可泛化输出反馈最优控制

    该研究提出一种基于 Transformer 的策略,用于解决部分观测且含噪声的多输入多输出线性时不变系统族的通用控制问题。策略通过共享表示与编码技术,仅需短时噪声测量即可生成控制动作,无需植物矩阵或状态估计器。

    推荐理由:论文提出利用 Transformer 实现无需显式状态估计的通用输出反馈最优控制,在仿真系统中达到接近 LQG 的最优成本。

  5. arXiv · 机器人与计算机视觉78

    World In-Context Learning for Agentic Robot Manipulation

    针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。

    推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。

  6. arXiv · 机器人与计算机视觉78

    WanderBench:能否从视频中探索动态世界?

    论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。

    推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。

  7. arXiv · 机器人与计算机视觉85

    PhysOPSD:以代码为特权实现物理可信的视频生成

    针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。

    推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。

  8. arXiv · 机器人与计算机视觉78

    DisasterVLG:面向灾难场景理解的视觉语言定位与证据推理基准

    作者发布 DisasterVL 数据集与基准,包含约 120 万张来自 142 个国家的灾害图像及 2500 万条结构化标注,涵盖场景描述、事件地点评估、空间关系及视觉问答。

    推荐理由:该工作提出灾难场景理解基准与模型,为具身智能在极端环境下的感知推理提供新数据支撑。

  9. arXiv · 机器人与计算机视觉78

    Compass 1:面向开放世界与持久化具身导航的单目 RGB 视频模型

    Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。

    推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。