跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 20 页

10月12日周一第 381–400 条
  1. arXiv · 机器人与计算机视觉78

    LeWAM:基于 JEPAs 的端到端世界与动作建模

    论文提出 LeWAM,这是一种端到端的联合嵌入预测架构(JEPA),旨在无需像素重建的情况下学习紧凑的潜在世界模型以支持直接控制执行和高效规划。该方法通过联合训练下一个潜在状态预测与动作流匹配,并施加各向同性高斯约束,使单一模型能同时支持策略执行与采样动作评估。

    推荐理由:LeWAM 通过联合嵌入预测架构实现了端到端控制,在接触丰富任务上成功率提升至 89.7%,规划速度提升 32.3 倍。

  2. Hugging Face Daily Papers82

    关系学习作为世界建模:TabWM 与 WorldRel 预训练生成器

    论文提出 TabWM(Tabular World Model)和 WorldRel,旨在从观测到的执行中推断系统行为并生成可执行的关系统一世界。TabWM 利用未见世界的执行记录作为上下文,在不更新参数的情况下预测由新动作引起的稀疏结构化编辑。

    推荐理由:提出 TabWM 与 WorldRel,在未见执行下通过上下文推断系统状态变更,支持递归想象未来以优化动作序列。

10月10日周六
  1. Hugging Face Daily Papers78

    Evolving to Match Capabilities:通过技能适配提升 Harness 自进化能力

    Harness 自进化的效果取决于模型能否遵循其引导,但研究发现强模型的有益技能对弱模型可能有害甚至降低性能。为此,作者提出技能适配方法,利用外部重写器诊断工具执行、上下文管理等失败原因并蒸馏为固定元技能,在不依赖执行证据的情况下将通用技能改写以匹配执行者能力。实验显示该方法在七种不同能力的执行器上均提升了自进化循环的最终得分,为开发更有效的 Harness 自进化提供了设计指导。

    推荐理由:原文发现通用技能对弱模型有害,提出通过元技能诊断失败并适配技能以匹配执行者能力的方法。

10月9日周五
  1. 智东西 · 机器人82

    Aether AI 推出因果机器人智能系统 CRIS-0

    Aether AI 正式推出因果机器人智能系统 CRIS-0,该系统通过因果驱动的 Agent 和因果世界模型两大模块,在真实环境中展示了对动态干扰的实时调整、任务自主纠错及动作直接生成能力。创始人黄碧薇为 UCSD 助理教授,公司成立于 2026 年并已完成融资。材料包含真机演示视频与架构说明,未提及具体开源代码或部署许可细节。

    推荐理由:Aether AI 推出 CRIS-0 系统,利用因果状态与统一工具接口实现机器人自主纠错与环境适应。

  2. Hugging Face Daily Papers82

    MiMo-V2.6:扩展强化学习迈向自我改进

    该报告由小米 LLM-Core 团队发布,介绍了 MiMo-V2.6 系列全模态模型,旨在通过扩展强化学习(RL)计算规模推动大模型智能边界。在预训练混合-SWA 架构基础上,报告详细阐述了三个维度的 RL 扩展策略:更大批次与吞吐量、涵盖代码/通用/视觉/网络域的复杂环境以及更强大的评估器计算。

    推荐理由:报告介绍了 MiMo-V2.6 系列,通过扩展 RL 计算规模、引入混合任务代理 RL 基础设施及开源训练动态,推动大模型向自我改进迈进。

  3. 量子位78

    Sharpa发布D01通用人形机器人及新一代触觉灵巧手

    Sharpa在IROS现场发布三款产品:一体式触觉感知灵巧操作机器人D01、新一代全触觉超紧凑灵巧手W02以及高保真外骨骼触感数据手套AE01。D01全身覆盖电子皮肤,采样率100Hz;W02将21个主动自由度塞入更紧凑结构,实现零抓握半径与整手触觉覆盖;AE01通过双向接口采集自然手部动作与接触反馈。

    推荐理由:Sharpa发布D01机器人、W02灵巧手及AE01数据手套,构建触觉全栈体系以解决真实场景下的接触感知与闭环控制难题。

  4. 量子位86

    星动纪元自研世界动作模型VPP2登顶RoboDojo榜单并开源

    星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单综合平均成功率32.26%、得分39.26分两项指标均居第一,泛化与精细操作能力领先。该模型采用视频预测与动作学习分阶段训练策略,未依赖额外数据或外挂增强手段。代码已开源,项目主页提供复现入口。

    推荐理由:星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单登顶,并开源代码与项目主页。

  5. arXiv · 机器人与计算机视觉78

    Memento 3:基于反思规则书的模型驱动递归自我改进

    论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。

    推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。

  6. arXiv · 机器人与计算机视觉87

    VioLA:从人类数据中学习通用类人机器人控制策略

    论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。

    推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。

  7. arXiv · 机器人与计算机视觉88

    ARC:一种用于机器人基础模型的推理配方

    该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。

    推荐理由:提出ARC推理配方,无需新增机器人数据即可通过自动标注与微调提升现有VLA基座模型的零样本任务成功率。

  8. arXiv · 机器人与计算机视觉76

    UNITAS:首个原生 3D 的具身操作世界动作模型

    UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。

    推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。

  9. arXiv · 机器人与计算机视觉83

    Cross-Embodiment Robot Foundation World Models with Latent Actions 论文发布

    该研究针对机器人本体多样性导致的世界模型难以跨形态泛化的问题,提出了基于潜在动作条件的机器人世界模型(LAC-WM)。该方法在统一的潜在动作空间内运行,相比显式动作条件模型(EAC-WM),能显著提升下游灵巧操作任务及 LIBERO 基准的性能。

    推荐理由:提出基于潜在动作空间的机器人世界模型,在跨形态泛化与下游任务性能上优于显式动作条件模型。

  10. arXiv · 机器人与计算机视觉87

    NavGPT-3:利用上下文构建分层导航运行时

    论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。

    推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。

  11. arXiv · 机器人与计算机视觉82

    Masked Generative Motion Planning with Geometry-Guided Token Search

    论文介绍 Masked Generative Motion Planning (MGMP),该方法利用几何引导的令牌搜索将轨迹生成从局部连续优化扩展至离散结构修复,在 Kuka 和 Ring Maze 任务上分别实现 82% 和 96% 的成功率。

    推荐理由:提出 MGMP 方法,将生成式规划扩展至结构修复,在 Kuka 和 Ring Maze 任务上显著超越最强基线。

  12. Hugging Face Daily Papers79

    DreamTrue:具备反事实后训练的忠实动作机器人世界模型

    论文提出了 DreamTrue,这是一个支持跨具身、多视角的机器人世界模型,旨在实现高保真的视频预测与物理合理性。针对现有数据集校准不精确及失败交互覆盖不足的问题,该方法将动作轨迹渲染为图像空间条件并进行离线几何校准,同时引入反事实后训练以扩展交互范围。

    推荐理由:该工作提出通过几何校准与反事实后训练提升多视角机器人世界模型的行动保真度,在 AgiBot 挑战赛中表现领先。

  13. Hugging Face Daily Papers76

    RSI-Anything:基于世界模型的递归自我改进通用框架

    论文介绍了 RSI-Anything,这是一个构建于 JEPA-Anything 之上的通用框架,利用预测世界模型指导行动与学习数据选择。在代码修复任务中,固定编码器的情况下,通过预测选择和世界模型适配将成功率从静态验证器的 26.3% 提升至 31.2%;GUI 评估显示任务完成率更高且平均动作减少 39.4%;实验室规划分数在五轮策略迭代后翻倍。

    推荐理由:该框架利用预测世界模型指导行动与数据选择,在代码修复、GUI 操作及实验室规划等跨领域任务中显著提升了成功率并减少了平均动作数。

10月8日周四
  1. arXiv · 机器人与计算机视觉82

    VIA:一种用于机器人控制的视觉界面智能体框架

    该论文提出了 VIA(Visual Interface Agent)框架,将机器人控制重构为智能体任务,利用现成的通用智能体通过虚拟工作空间中的鼠标式工具直接驱动机械臂。研究在仿真和真实世界移动操作机器人上实现了零样本的多样化桌面操作与导航任务,且性能随基础模型规模提升而增强,表明现有前沿智能体具备直接迁移至机器人控制的能力。

    推荐理由:提出 VIA 框架,证明通用智能体无需训练即可通过虚拟界面直接控制机器人完成操作与导航任务。

  2. arXiv · 机器人与计算机视觉82

    Resolving Conflicts Where and When They Arise: Reactive Composition of Multi-Goal Behavior

    该研究针对多目标任务中因静态目标表示导致的失败问题,提出了一种扩展 Active InterCONnect 的方法,通过自适应空域投影动态处理冲突梯度。实验表明该方法在导航和推物任务上优于静态势场与扩散策略,并在真实机器人上成功解决了感知不确定性、关节限制及自碰撞等问题,证明了控制方法可替代部分规划功能。

    推荐理由:论文提出自适应空域投影方法解决多目标冲突,在真实机器人上验证了无需规划即可处理感知不确定性与自碰撞的能力。

  3. arXiv · 机器人与计算机视觉83

    Agentic Scene Policies:统一场景感知与操作技能的机器人框架

    针对现有视觉语言动作模型(VLAs)泛化能力受限及缺乏显式空间推理的问题,本文提出 Agentic Scene Policies(ASP)框架。该框架通过场景智能体工具接口,利用部件级功能特性将场景理解与机器人技能统一在单一动作空间中,支持如拔充电器、开抽屉等零样本交互。实验表明,ASP 在零样本设置下表现优于领先的 VLAs,并展示了处理房间级查询的扩展性。

    推荐理由:提出结合显式3D场景表示与运动规划的模块化策略,在零样本设置下超越主流VLA模型。

  4. arXiv · 机器人与计算机视觉83

    基于人类引导终身代码生成的机器人超长时域操作技能研究

    针对大语言模型在机器人操作中存在的歧义、噪声及上下文限制问题,本文提出 LYRA 框架,将人类反馈蒸馏为模块化可复用技能,并利用外部记忆与检索增强生成支持超长时域任务。

    推荐理由:提出 LYRA 框架,通过人类引导的终身代码生成与外部记忆检索,在多个基准及真实任务中实现超长时域操作的稳定执行。