跳到正文
10月21日周三
  1. arXiv · 机器人与计算机视觉67

    物理 AI:概念、技术与挑战综述

    这篇由多位作者撰写的专著旨在定义物理 AI 概念,区分其与数字 AI、具身智能及数字孪生的差异,并建立涵盖物理、控制、认知等维度的统一框架。内容深入回顾了多模态感知、仿真数据、世界模型、具身基础模型及电机控制系统等关键技术,重点探讨了从窄自动化向通用化发展的挑战,包括 sim-to-real 迁移、可靠性、实时执行与安全治理等方向。

  2. arXiv · 机器人与计算机视觉83

    Latent Projection for Latent Planning:一种基于潜空间投影的规划方法

    该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。

    推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。

  3. arXiv · 机器人与计算机视觉56

    机器人视频世界模型:应用、挑战与展望综述

    该论文作为一篇综述,系统回顾了视频世界模型在具身智能中的应用潜力与挑战。文章指出视频模型能生成高保真、物理一致的交互视频,克服了传统物理仿真器的简化假设瓶颈,可作为基础世界模型捕捉细粒度动力学。然而,当前模型仍存在违反物理规律的预测(幻觉)、指令遵循差及数据计算开销大等问题。作者提出了针对安全关键场景的未来研究方向,并提供了精选参考文献列表。

  4. arXiv · 机器人与计算机视觉83

    AEON:统一视频与 3D 世界模型的框架

    论文提出 AEON 框架,旨在弥合基于视频生成模型(如 Sora)缺乏 3D 一致性与基于 3D 生成模型(如 Marble)缺乏真实感之间的差距。该框架在文本或图像条件的视频潜在空间内运行,生成可渲染的 4D 图形原语——具体为 4D Gaussian Splatting (4DGS) 作为显式世界表示。

    推荐理由:提出 AEON 框架统一视频与 3D 世界模型,通过 4DGS 显式表示实现几何一致性与真实外观的兼顾。

  5. arXiv · 机器人与计算机视觉84

    UniWALM:面向具身机器人控制的统一世界动作语言模型

    论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。

    推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。

  6. arXiv · 机器人与计算机视觉73

    Industrial ReMEmbR:面向机器人车队的时空记忆扩展方案

    论文介绍 IndustrialReMEmbR 系统,旨在解决仓库机器人车队在保留观测语义记忆时的高计算、通信和存储成本问题。该系统将 NVIDIA ReMEmbR 架构扩展至车队场景,利用端侧 NVIDIA Jetson 设备通过 Cosmos-Embed1、Cosmos3-Edge 和 Wan2.2 VAE 对视频片段进行编码并提取检索嵌入与重建潜变量,无需上传原始相机帧。

  7. arXiv · 机器人与计算机视觉42

    MindView:生成式多视角空间智能评测基准与 BAGEL 微调方案

    MindView 基准包含来自三个室内数据集的 513 个场景共 1,500 个样本,涵盖几何主导与语义主导两类任务。评估显示 11 个生成器在扩展上下文下得分均下降,而经 MindView 训练集微调后的 BAGEL 模型整体分数提升 24.3 点且未依赖目标基准标注。提出的无训练开销 MindCue 证据选择器逆转了扩展上下文下的性能下滑并优于标准基线。

  8. arXiv · 机器人与计算机视觉70

    Physical Canvas:面向机器人策略评估与学习的视觉触觉世界模型

    针对物理交互成本高且难以扩展的问题,本文提出了 PhysCanvas,这是一个用于接触丰富机器人操作任务的、状态一致的视觉 - 触觉世界模型。该模型统一了多视角 RGB、触觉图像、标记位移、任务状态及动作,共享视频 VAE 和预训练生成骨干网络。

  9. arXiv · 机器人与计算机视觉74

    OverSeer:超越智能体视野的多智能体世界模型

    针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。

  10. arXiv · 机器人与计算机视觉78

    SuperMimic:利用单一可微世界模型扩展人形机器人全身控制

    论文提出 SuperMimic 方法,通过拟合标准刚体仿真器的日志过渡数据构建单一可微世界模型,与跟踪策略在单循环中联合训练并利用时间反传播获取解析梯度。该方法在单 GPU 上 3 小时即超越基线(128 GPU 训练 7 天),将 GPU 工时降低超 1000 倍,并在 129,514 个基准动作中仅失败 25 次;经过 9.8 小时双 GPU 训练后实现零失败。

    推荐理由:该工作提出用可微世界模型统一处理全身运动跟踪,将训练时间从 7 天降至 3 小时且失败率大幅降低。

  11. arXiv · 机器人与计算机视觉78

    TaskWAM:通过任务状态引导世界动作模型避免阶段混淆

    论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。

    推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。

  12. arXiv · 机器人与计算机视觉73

    WorldSR:利用世界知识搜索进行基于实体的图像超分辨率

    针对生成先验在超分辨率任务中存在的随机性、与基座模型绑定及易产生幻觉等问题,该研究提出 WorldSR 框架。该方法将输入自动分解为语义实体,并从大规模外部语料库中检索结构化和语义对齐的参考图像作为世界知识,结合记忆机制复用结果及多步过滤流程优化候选参考。

  13. arXiv · 机器人与计算机视觉78

    Towards Consistent Geospatial Representations: Aligning One Encoder to Many Foundation Models

    Arthur Ouaknine 和 David Rolnick 提出 GeoMixture 框架,旨在解决地理空间基础模型(GFMs)因预训练目标和模态差异导致的表示不一致问题。

    推荐理由:提出 GeoMixture 框架,通过多表示对齐将单一编码器适配多个地理空间基础模型,在九个基准数据集上实现跨任务一致性。

  14. arXiv · 机器人与计算机视觉78

    SplatFlux:基于视频潜变量的前馈式 4D 高斯重建与生成框架

    该论文提出 SplatFlux,这是一个将视频潜变量解码为 4D 高斯(4DGS)的前馈框架,旨在统一处理视频基 4D 重建和条件式 4D 生成。核心观察在于利用预训练视频潜空间表示观测视频与生成内容。

    推荐理由:该工作提出 SplatFlux,利用预训练视频潜空间统一处理重建与生成任务,并通过静态动态解耦策略实现无需标注的 4D 场景构建。

  15. arXiv · 机器人与计算机视觉74

    De-Diffusing WAMs:基于动作充分直接预测的机器人控制方法

    论文针对级联世界 - 动作模型(WAMs)继承扩散预训练专家带来的昂贵迭代推理问题,提出 DirectWAM 方法。该方法通过动作充分蒸馏将预训练的视觉和动作专家转化为单步预测器,无需随机采样即可支持准确的单步动作预测。研究在四个 LIBERO 套件上平均成功率达 97.1%,在 RoboTwin 2.0 上为 85.4%,优于 Flash-WAM,并将推理延迟降低了 28 倍。

  16. arXiv · 机器人与计算机视觉48

    预期自由能作为潜在世界模型规划的计算控制器研究

    该研究提出利用预期自由能(EFE)目标结合目标距离与预测分歧,以决定在潜在世界模型规划中应投入多少计算资源。实验显示,当精英成本停滞时停止细化可降低任务成功率随深度增加而饱和的开销,但大权重下奖励分歧会降低冻结模型的成效。在线更新能在训练数据缺失关键区域时部分恢复损失,不过基于成本进展引导计算在峰值后保护性能仍需动作后果信息。

  17. arXiv · 机器人与计算机视觉49

    ReCam:具备全上下文记忆的长视频生成模型

    ReCam 通过分组时空块潜变量直接投影至扩散 Transformer 隐藏空间,结合双指针去噪机制解决长视界生成的历史条件成本与时间漂移问题。该模型在 VBench-Long 评测中取得 80.1 的最高总分,并在 R2M-Bench 场景重现及非屏幕主体重现身的一致性指标上全面领先基线。代码已开源,适用于计算机视觉与人工智能领域的长视频生成任务。

  18. arXiv · 机器人与计算机视觉72

    EgoACT:通过速度引导结构锚定解耦动作与自观视角以支持世界仿真

    论文提出 EgoACT 测试时框架,旨在将语义动作从自观视角中解耦并在新的视觉上下文中复现,以支持可扩展的世界仿真和具身策略学习。现有基于条件引导的视频生成方法引入几何估计误差,而运动迁移方法难以编码丰富的接触动力学。

  19. arXiv · 机器人与计算机视觉58

    ConfigWM:一种支持可配置感知的世界模型方法

    针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。

  20. arXiv · 机器人与计算机视觉66

    EndoWorld-JEPA:面向内窥镜视频表示学习的运动引导全局 - 局部潜在世界建模

    arXiv 发布 EndoWorld-JEPA,这是首个专为通用内窥镜视频表示学习设计的潜在世界模型预训练框架。该方法将被动视频预训练重构为因果运动引导的潜在状态预测,利用光流分离主导位移与残差运动,并通过全局 - 局部预测器在表示空间学习可预测的视觉 - 运动动态,无需重建随机外观伪影或依赖机器人运动学。评估显示其预训练检查点在四个下游基准上均表现出强迁移能力。

  21. arXiv · 机器人与计算机视觉72

    枚举引导的神经哈密顿 - 雅可比安全证书训练方法

    针对控制系统的形式化安全保证难题,本文提出一种利用概率枚举检测前向不变性违反的训练框架,生成紧凑的反例集以精确捕捉失效边界。通过微调预训练的 HJ 值函数,该方法扩大了认证区域并缩短了时间。研究还引入了基于改进证书的屏蔽机制,在 Isaac Sim 仿真环境和真实自主赛车实验中均实现了零安全约束违规,证明了其在高速关键场景下的有效性。

  22. arXiv · 机器人与计算机视觉75

    LaLa-World:通过自然语言动作扩展潜在世界模型的规模

    arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。

  23. arXiv · 机器人与计算机视觉65

    RoboJudge:作为具身视频生成裁判的多模态大语言模型

    该研究构建了 RoboJudge-Bench 基准,包含来自 8 个语料库的 800 条人工标注视频,覆盖机械臂、人手及灵巧手等场景。实验发现通用多模态大语言模型在物理一致性判断上与人类评分对齐度较低,而专为通用领域设计的视频裁判模型未能稳定迁移至具身场景。

  24. arXiv · 机器人与计算机视觉82

    World2HOSI:一种用于长程人机物场景交互生成的多专家编排框架

    论文介绍 World2HOSI 框架,旨在解决长程人机物场景交互(HOSI)任务中单一模型能力不足及高质量数据稀缺的问题。该方法通过构建基于解耦背景与物体资产的持久化三维高斯泼溅(3DGS)场景状态,利用编排器规划动作阶段并调用现有专家模型,同时将动作效果写回以维持世界一致性。

    推荐理由:该工作提出多专家编排架构,利用解耦资产与闭环仿真生成高质量长程人机物场景交互数据。

  25. arXiv · 机器人与计算机视觉82

    NeoWorld-3:从像素到由代码定义的物理世界

    arXiv 论文介绍了 NeoWorld-3,这是一个基于编码智能体的框架,能从视觉观测重建可交互的三维世界。其核心 NeoSDK 提供底层几何、部件组合、可微参数优化及物理验证引擎;NeoMCP 则将这些能力封装为结构化 API,供视觉语言智能体进行代码编辑与迭代优化。

    推荐理由:该工作提出 NeoWorld-3,通过可执行代码重建具备物理交互性的三维世界,并在双臂机器人上实现零样本操作闭环。

  26. arXiv · 机器人与计算机视觉68

    CityPaint:一种基于 2D 扩散模型的城市级 3D 纹理生成方法

    该论文提出 CityPaint 框架,利用丰富的 2D 图像数据和扩散模型生成全局一致的城市级 3D 纹理,无需依赖稀缺的真实城市级 3D 训练数据。该方法结合了几何先验与 2D 扩散模型的生成能力,引入稳健的 top-K 相机烘焙策略进行迭代纹理投影,并针对 2D 到 3D 投影产生的伪影提出了解耦细化机制,分别优化地形和建筑纹理。

  27. arXiv · 机器人与计算机视觉74

    基于动作影响力最大化的可控世界模型训练方法

    论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。

  28. arXiv · 机器人与计算机视觉33

    GTSM:高斯泼溅与热状态空间动力学用于时空热场重建与预测

    GTSM 提出一种无需预定义三维模型或热力学方程的通用热动力学模块,通过共享场景潜变量与高斯局部状态实现四维时空热场直接恢复。该方法结合可微 RK2 积分器支持连续动态传播,能无缝集成静态与动态高斯泼溅以完成变形目标的渲染及未来时间预测。实验在真实红外序列与合成数据上验证了其在重建精度与时序外推能力上优于现有基线,并证实了对变形目标的有效性。

  29. Hugging Face Daily Papers82

    Learning the 4D World through Point Trajectory Forecasting

    论文介绍 Video-Point Model (VPM),这是一个基于多视角视频历史和语言指令的世界模型,能够联合预测任意视角的未来视频和场景中持久点的 3D 轨迹。

    推荐理由:该工作提出 Video-Point Model,通过点轨迹监督联合预测多视角视频与 3D 运动,并扩展至机器人控制。

  30. 智东西 · 机器人82

    Dream Labs 发布世界动作模型 Dream-1 并开放 API

    美国具身大脑公司 Dream Labs 宣布完成种子轮融资,并发布世界动作模型 Dream-1。该模型通过预测末端执行器位姿实现零样本泛化,可控制从未见过的双臂平行夹爪机器人执行新任务。Dream Labs 正式开放 Dream API,提供每小时 3 美元的调用服务及仿真微调选项。测试显示其在性能、速度和成本上具备优势,但零样本成功率在未见任务中约为 9%。

    推荐理由:Dream Labs 完成融资并开放 Dream-1 世界动作模型及 API,支持零样本跨机器人控制与仿真微调服务。

  31. Hugging Face Daily Papers67

    SolarRenderer:一种基于结构的少步生成式参考渲染器

    SolarRenderer 是一种结构条件化的视频渲染器,它通过冻结 MiniMax-H3 33B 骨干网络并添加两个轻量级 LoRA 来工作。该模型利用对齐的结构化视频(如游戏引擎布局、运动或相机参数)作为输入,无需类型标识符即可在骨干网络的帧位置进入原生参考路径。

  32. Vision Systems Design28

    Vention 物理 AI 实验室利用真实工厂视觉数据与 GRIP 模块化管线构建自适应机器人,融合经典计算机视觉与基础模型以平衡部署效率与性能

    Vention 物理 AI 实验室利用真实工厂视觉数据及 GRIP 模块化管线,构建能在复杂制造环境中感知、理解并学习的自适应机器人。团队结合经典方法与基础模型(如零样本姿态估计),旨在最小化任务接入成本同时最大化性能,解决实际产线问题。该研究通过客户提供的零部件与执行数据进行训练,确保 AI 系统具备扎实的制造领域知识。

10月20日周二
  1. arXiv · 机器人与计算机视觉48

    基于稀疏非线性动力学识别的可解释控制效能学习与非线性控制分配方法研究

    该方法利用稀疏非线性动力学识别技术,从飞行数据中学习显式的物理约束控制效能映射模型。相比高保真在线模型或黑盒驱动方案,该模型在保持相当精度的同时大幅降低计算成本,并支持解析导数以适配包含执行器动力学的非线性求解器。系统还具备在线适应机制,能在检测到显著植物变化时刷新模型,从而在执行器故障及变工况下实现优雅重构与容错控制。