跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 11 页

10月27日周二第 201–220 条
  1. arXiv · 机器人与计算机视觉78

    Expert-Play Contouring Control:从慢速专家到快速游玩的超演示规划

    arXiv 论文提出 Expert-Play Contouring Control (EPCC),解决模仿学习继承演示时序导致无法加速的问题。方法利用专家数据训练潜在轨迹生成器以获取任务意图,同时用快速游玩数据训练世界模型以覆盖动力学变化;部署时优化动作沿专家轮廓最大化进度并惩罚偏离。

    推荐理由:提出结合专家演示与快速游玩数据的控制方法,在三个视觉运动任务中将吞吐量提升两倍。

  2. arXiv · 机器人与计算机视觉78

    X-WBC:一种面向人形全身控制的跨躯体基础模型

    针对现有方法每款机器人单独训练导致运动经验隔离的问题,该研究提出 X-WBC 框架,将相对共享的人体运动语义与本体特定的物理执行分离。通过人体中心指令 token 对齐全量人体运动、机器人参考运动及稀疏 VR 观测,利用因果 Transformer 从混合多机器人 rollout 中学习可复用时间结构,并通过轻量级本体特定模块映射到各机器人的本体感知与动作空间。

    推荐理由:该工作提出跨躯体基础框架,通过解耦共享语义与本体执行实现多机器人联合训练,为具身智能通用部署提供新路径。

  3. arXiv · 机器人与计算机视觉82

    GE-Act 2.0:预训练与扩展用于机器人操作的行动世界模型

    AgiBot Research Team 发布了 GE-Act 2.0,这是一个从头开始预训练的“世界 - 行动”模型(WAM),旨在指导机器人操作。该模型结合了控制导向自编码器、单步视觉规划器和逆动力学模型,并通过知识对齐的选择性优化进行联合训练。

    推荐理由:报告了从 300 小时到 3 万小时协同训练数据对机器人操作成功率的影响,并验证了跨本体迁移与零样本泛化能力。

  4. arXiv · 机器人与计算机视觉78

    RoGe:基于端到端隐式重建与生成的新视角合成方法

    论文提出 RoGe 框架,解决稀疏输入下新视角合成的几何与生成先验结合难题。该方法利用前馈重建模型从少量定位图像构建隐式场景表示,通过相机射线查询获取每视图几何特征并注入视频扩散模型作为条件,全程无需显式 3D 中间表示。联合训练使生成目标直接塑造几何条件,实验表明其在图像质量、时间一致性和几何一致性上优于现有重建、生成及混合基线。代码将在发布后公开。

    推荐理由:提出 RoGe 框架,通过端到端隐式重建与生成联合训练,消除显式中间表示误差,提升稀疏视图下的视频合成质量与时空一致性。

  5. arXiv · 机器人与计算机视觉78

    LaWAM:基于潜在世界动作模型的机器人策略

    LaWAM 是一种潜在世界动作模型,通过预训练视觉基础模型的潜在空间训练动作模型并复用其前向解码器来预测场景演化的未来观测特征,从而为机器人策略提供动力学感知能力。该方法在 LIBERO、RoboTwin 及真实操作任务中取得了具有竞争力的成功率,且每步推理延迟仅为 187ms,比像素空间方法低约 24 倍。材料已接受于 CoRL 2026。

    推荐理由:该工作提出利用潜在视觉子目标替代视频生成,在保持低延迟的同时实现动力学感知的机器人控制。

  6. arXiv · 机器人与计算机视觉82

    Crazyflow:一款准确、GPU 加速且可微分的无人机仿真器开源发布

    Crazyflow 是一款旨在推动空中机器人算法开发的统一仿真平台,结合高保真动力学与 JAX 框架实现高速与可微分性,支持百万级环境并行及数千架无人机集群。实验表明其支持无需域随机化的分析梯度策略学习与采样避障,并实现了飞行中强化学习:将物理无人机抛起后仅用 0.37 秒即可训练出恢复策略并将其接住。该工具作为开源资源,为合成数据生成及在线优化提供了新能力。

    推荐理由:Crazyflow 提供 GPU 加速的可微分无人机仿真器,支持百万级环境并行与飞行中强化学习,为空中机器人算法开发提供新资源。

  7. arXiv · 机器人与计算机视觉82

    RoboEvolve:基于有限数据的机器人操作规划器 - 模拟器协同进化框架

    该论文介绍 RoboEvolve 框架,通过耦合视觉语言模型(VLM)规划器和视频生成模型(VGM)模拟器构建相互强化的协同进化循环。系统利用无标签种子图像启动自进化,采用认知启发的双阶段机制:日间探索促进物理基础的行为发现,夜间巩固挖掘“差一点成功”的失败案例以稳定策略优化。

    推荐理由:提出 VLM 规划器与视频生成模拟器协同进化的框架,利用无标签种子图像实现数据高效训练并提升底层控制成功率。

  8. arXiv · 机器人与计算机视觉82

    MicroWorld:利用多模态属性图弥合大模型与显微领域的差距

    论文提出了 MicroWorld 框架,旨在解决多模态大语言模型(MLLM)在显微成像等垂直领域因数据稀缺和专家知识难以编码而导致的性能瓶颈。

    推荐理由:该框架通过多模态属性图增强 MLLM,在显微图像推理任务上显著提升了 Qwen3-VL 的准确率。

  9. arXiv · 机器人与计算机视觉82

    面向鲜活世界的创作:基于工具约束的 LLM Agent 用于可执行的多角色场景

    论文提出利用工具约束的 LLM Agent(Director 和 Scene Builder)在仿真引擎中构建可执行的多角色时空事件图,解决了标准流水线无法追踪动态世界状态的问题。实验显示,该框架生成的规范执行率为 80%,且能准确重构原始场景的事件、参与者及顺序,相关成果已获 ECCVW 2026 录用。

    推荐理由:提出工具约束的 LLM Agent 框架,将多角色场景构建为可执行的时空事件图,解决了标准流水线无法追踪动态状态的问题。

  10. arXiv · 机器人与计算机视觉82

    AdaThinkDrive:基于强化学习的自动驾驶自适应思考框架

    针对端到端自动驾驶中思维链(CoT)推理在简单场景下引入不必要计算开销的问题,本文提出了 AdaThinkDrive 框架。该框架受快慢思考启发,采用双模式推理机制,先在大规模驾驶数据上预训练获取世界知识,再通过监督微调让模型区分需要推理的场景。

    推荐理由:提出双模式推理框架,在 Navsim 基准上提升决策质量并降低推理耗时。

  11. arXiv · 机器人与计算机视觉82

    为规划而适配:乐观的测试时世界模型适配方法

    论文提出了Optimistic Test-Time Adaptation (OpTTA) 方法,旨在解决潜伏世界模型在测试时冻结导致分布偏移下规划性能下降的问题。

    推荐理由:提出OpTTA方法,通过引入规划目标项优化测试时适应策略,在多项任务中将最终规划成功率平均提升13.5个百分点。

  12. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  13. arXiv · 机器人与计算机视觉78

    内在目标驱动下的自主智能体:分层探索捕捉果蝇的未来意愿动作

    arXiv 论文提出结合果蝇全脑记录与神经机械数字孪生的研究框架,测试优化内在目标是否能生成与果蝇行为及内部表征相匹配的人工智能体。研究采用 DIAYN 等算法训练无外部奖励的智能体,在虚拟系留球实验中成功复现了果蝇的自发运动统计特征、内部表征编码及未来转向预测能力,表明分层内在动机框架是逆向工程动物自主性的有力工具。

    推荐理由:该研究利用果蝇全脑记录与神经机械数字孪生,验证了基于内在动机的分层策略能复现生物自主探索行为。

  14. arXiv · 机器人与计算机视觉82

    OSWAM:一种具备一步动作生成的有效世界动作模型

    arXiv 论文 OSWAM 针对直接策略世界动作模型需多步去噪导致高延迟的问题,提出通过构建想象 token 初始化扩散过程以提供物理先验,并引入未来条件特权信息蒸馏。实验表明该模型在自动驾驶和具身控制任务上能达到甚至优于需要数十步的基线方法,实现约 3 倍加速,并在 NVIDIA RTX 5090 GPU 上将延迟降至 40ms,支持实时编译推理。

    推荐理由:该工作提出 OSWAM,通过引入想象 token 和特权信息蒸馏实现一步生成,在自动驾驶与具身控制任务上达到多步基线水平并将推理延迟降至 40ms。

  15. arXiv · 机器人与计算机视觉78

    面向精确抓取的机器人对齐3D高斯泼溅与腕部相机VLA策略研究

    针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。

    推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。

  16. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  17. arXiv · 机器人与计算机视觉78

    SceneAgent:从三维及四维捕获到仿真环境的代理流水线

    论文介绍 SceneAgent,这是一个通过基于模拟器的视觉检查与修复来协调对象重建、物理建模和中间误差校正的代理流水线。它能处理 3D Gaussian Splatting、摄影测量、LiDAR 捕获、AI 生成的 3DGS 场景以及动态场景的 4D 视频,并结合对象分割、物理参数估计、部件分解、铰链连接和可变形仿真。

    推荐理由:该工作提出 SceneAgent 代理流水线,将多种视觉捕获转化为可交互仿真环境并生成数字孪生体与演示数据,显著提升了策略学习基线。

  18. arXiv · 机器人与计算机视觉78

    RobotAgentBench:面向开放世界的机器人自主性基准

    论文介绍 RobotAgentBench(RAB),这是一个用于评估机器人智能体在真实开放世界家庭环境中自主性的综合基准。研究团队通过人环闭环的真实到仿真管线,构建了包含 50 种多样布局、90 个原子任务及多种长短期任务的场景。

    推荐理由:该基准通过人环闭环构建真实家庭场景,系统评估机器人智能体在任务发现、推理与恢复等维度的能力差距。

  19. arXiv · 机器人与计算机视觉78

    无证据下的确信:视觉锚定对医疗视觉 - 语言模型判决稳定性的影响无关紧要

    该论文研究了医疗视觉 - 语言模型在缺乏诊断图像时维持正确诊断的能力,并测试了这种‘无锚定’状态是否会导致模型结论更脆弱。研究者在意大利国家考试题目上进行了图像替换实验,施加两种对抗压力(L4 和 L1),发现无论有无真实图像,模型推翻自身判决的比例差异极小且方向相反。

    推荐理由:该研究通过对抗性压力测试发现,医疗视觉语言模型在缺乏图像证据时仍能维持诊断结论的稳定性,表明‘确信度’无法作为判断模型是否真正利用视觉信息的可靠信号。

  20. arXiv · 机器人与计算机视觉78

    WorldFailBench:世界模型是否理解策略失效?

    针对物理测试与仿真准备成本高且现有基准仅关注结果成功与否的问题,该研究提出 WorldFailBench 基准,旨在检验世界模型是否能忠实复现策略的失效机制。该基准包含三个任务:失败原因(复现可观测错误)、失败阶段(评估失效集中点)及失败边界(考察场景变化下的成败转换条件)。

    推荐理由:该基准通过三个任务揭示现有世界模型在复现策略失败原因、阶段及边界上的显著差距,为构建更可靠的评估工具提供方向。