跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 10 页

10月30日周五第 181–200 条
  1. arXiv · 机器人与计算机视觉82

    Seeing and Imagining as One:GenSight 统一视频生成与 4D 感知用于具身世界建模

    论文提出了 GenSight,这是一个统一的具身世界模型,将未来视频生成和稠密感知整合进同一个预训练视频扩散 Transformer 中。该模型使用统一的时空表示处理视频、深度、具身分割和首帧相对 2D 光流,基于共享 DiT 骨干网络并通过轻量级任务调制在同一架构内预测所有模态。

    推荐理由:该工作提出将视频生成与稠密感知统一于单一架构,为具身世界建模提供了新的跨模态一致性思路。

  2. arXiv · 机器人与计算机视觉80

    EgoContact:基于第一人称视频的物理智能评估基准

    论文发布了 EgoContact 数据集,包含 2.25 万条人工校验的交互事件,每条数据均标注预接触观测、语义意图及像素级精确接触位置。研究指出当前方法在预测精确交互接触点及复杂场景目标定位上存在不足。实验表明,将 EgoContact 作为现有策略的记忆库可显著提升性能:仿真环境下抓取成功率从 14.2% 提升至 31.2%,真实机器人上从 16% 提升至 58%。

    推荐理由:该工作构建了首个以未来接触点预测为核心的大规模第一人称数据集,并验证了其在提升仿真与真实机器人抓取成功率上的显著效果。

  3. arXiv · 机器人与计算机视觉82

    Tactus:一款用于自然灵巧性数据收集的触觉与姿态感知手套

    Tactus 是一款集成纺织传感的手套,通过薄型化设计、电容式触觉传感器和 IMU 融合姿态追踪,解决了指尖力觉测量与手部遮挡下的姿态跟踪难题。材料给出了最小可探测力为 0.59 N(置信度 95%),跨参与者一致性达 0.87,并在重度遮挡下保持 11.0 mm 的指尖关键点相对误差。

    推荐理由:原文给出了触觉手套的硬件指标与跨平台基准评测结果,相关团队可据此评估其是否适合现有数据采集流程。

10月29日周四
  1. 奥比中光 Orbbec · News67

    Orbbec 与 ACE Robotics 达成战略合作推进物理 AI 数据采集

    Orbbec 与 ACE Robotics 签署采购协议并建立全面战略合作伙伴关系,覆盖 10,000 台机器人视觉产品及无感数据采集硬件。双方将聚焦机器人视觉与高质量现实世界数据收集,以支持具身智能的大规模部署及世界模型(如 Kairos 3.1)的持续演进。

    推荐理由:双方达成战略合作,Orbbec 将向 ACE Robotics 供应深度相机及机器人无感数据采集硬件,以支持具身智能大规模数据收集与世界模型演进。

  2. 盖世汽车 · 汽车资讯78

    地瓜机器人开源世界模型仿真平台Uranus

    地瓜机器人大模型团队于10月27日开源世界模型仿真平台Uranus,发布技术报告、推理代码、SDK及两个版本模型权重,面向全球开放早期体验名额。

    推荐理由:地瓜机器人开源Uranus仿真平台,提供因果架构与流式推理机制,支持多本体接入及分钟级连续推演。

  3. 智元 AGIBOT · Newsroom87

    智元发布 GO-3 Preview 预训练模型,在三大具身智能基准测试中位列第一

    智元今日发布 GO-3 Preview 具身基础模型,该模型支持从预训练、后训练到部署后的全生命周期学习,并在 RoboDojo、RoboTwin 和 RoboColiseum 三项主要具身智能基准测试中获得第一名。

    推荐理由:智元发布 GO-3 Preview 预训练模型,在三大基准测试中位列第一,并开放全生命周期学习架构与仿真工具链。

  4. Hugging Face Daily Papers78

    WorldBridge:面向任务泛化的世界动作模型研究

    论文针对具身智能模型的物理环境任务泛化挑战,提出 WorldBridge 架构,通过视频预测与动作桥接实现任务迁移。实验显示,在 RoboTwin 2.0 上仅用分布内监督成功率为 25.07%,加入无标签视频提升至 55.90%,再增加少量带标签演示可达 70.70%。该方法结合视觉记忆与动作强制机制,在多个操作基准测试中达到当前最佳性能。

    推荐理由:该工作提出 WorldBridge 架构,通过视频预测与动作桥接实现任务泛化,在 RoboTwin 2.0 等基准上达到 SOTA。

10月28日周三
  1. arXiv · 机器人与计算机视觉85

    视频世界模型的潜变量为何与动作相关:预测优于重建

    论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。

    推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。

  2. arXiv · 机器人与计算机视觉78

    GTASA:用于视频模型时空分析、评估与训练的真值标注数据集发布

    论文提出 GEST-Engine 开源系统,可确定性执行事件图并渲染同步多角色场景视频,同时记录包括三维实体状态、相机状态、成对空间关系及实例分割在内的完整真值。

    推荐理由:该工作利用游戏引擎生成带完整时空真值标注的视频数据集,填补了视频模型在实体间关系理解上的空白。

  3. arXiv · 机器人与计算机视觉78

    固定世界模型下的干预共形不确定性校准方法

    该研究解决部署策略变更使世界模型不确定性失效的问题,在保持物理转移机制和预测器不变的前提下,通过估计状态占据与动作倾向比率实现加权共形校准。实验基于开源 DINO 特征世界模型与 Franka 机械臂轨迹,在强控状态下行动态覆盖率从普通方法的 55.0% 提升至 91.0%,且学习到的代理分布与目标律的总变差距离小于 0.9%。

    推荐理由:针对部署策略变更导致的世界模型不确定性失效问题,提出基于加权共形校准的方法以适配目标分布。

  4. arXiv · 机器人与计算机视觉82

    免渲染事件帧仿真加速自主机器人导航的强化学习

    针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。

    推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。

  5. arXiv · 机器人与计算机视觉82

    World Dreamer v5-lite:一种基于共享世界状态的多机器人动作模型

    这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。

    推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。

  6. arXiv · 机器人与计算机视觉83

    PDRVLA:一种具备物理动力学表征的视觉语言动作模型

    针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。

    推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。

  7. arXiv · 机器人与计算机视觉83

    GAWM:一种用于多任务机器人操作的紧凑潜在世界动作模型

    arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。

    推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。

  8. arXiv · 机器人与计算机视觉78

    TAPESTRY:一种用于视频生成与机器人控制的单一骨干网络

    论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。

    推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。

  9. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  10. arXiv · 机器人与计算机视觉85

    E0.5:面向机器人世界 - 动作建模的从重建到未来预测的 3D 基础模型

    该论文提出 E0.5,这是一个以 3D 几何为原生基础的机器人世界 - 动作(WAM)模型,将 3D 几何作为世界建模与动作预测的核心表示。E0.5 在 RoboTwin 2.0 基准上无需具身数据预训练即可达到 89.90%(干净设置)和 50.09%(随机化设置)的成功率,并显式联合预测未来 3D 状态与动作。

    推荐理由:该工作提出以 3D 几何为原生基础的 E0.5 模型,在 RoboTwin 2.0 上实现高成功率,并通过具身预训练显著提升真实机器人操作表现。

10月27日周二
  1. 上海人工智能实验室 · 科研动态75

    上海AI实验室推出通专融合智能体书生-A1.5

    上海AI实验室推出通专融合智能体书生-A1.5(Sage-A1.5),在神经科学与电化学等真实场景中验证递归自我改进技术路径。该模型具备智能体编排与校验能力,可自主拆解任务、调度子智能体并行调研并修正推理偏差。35B参数版本在多项专业评测基准中表现优异,支持昇腾NPU及多种GPU架构,面向科研团队开放试用。

    推荐理由:上海AI实验室推出通专融合智能体书生-A1.5,验证真实科学场景驱动基模自进化路径。

  2. Hugging Face Daily Papers78

    Skill^infty:实现智能体技能优化的递归自我改进

    该论文提出 Skill^infty 框架,通过让元智能体利用可编码为技能的元技能来诊断执行轨迹、生成候选方案并分配搜索预算,从而实现技能优化过程的递归自我改进。

    推荐理由:提出递归自我改进的 Skill^infty 框架,在技能优化任务上超越人工与现有方法。