跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉48

    MentalGrid 基准与 SpatialWalker 模型:揭示并增强 MLLM 的空间动态模拟能力

    MentalGrid 基准评估显示现有多模态大语言模型在无需视觉反馈的动态空间模拟任务中存在感知局限与推理不足。为此提出的三阶段课程学习框架利用 16k 专用样本训练出 SpatialWalker,其平均性能较基线提升 33.8%,超越 Gemini-3-Flash 等专有模型。该模型在跨域基准上保持 4.9% 的平均增益,证实空间模拟是构建广泛空间智能的关键基石。

11月17日周二
  1. arXiv · 机器人与计算机视觉82

    LynnReal-Hand:解锁手部控制的世界交互能力

    针对直接物体交互需要精细控制的挑战,本文介绍了 LynnReal-Hand 这一手控视频世界模型,统一了精确的交互建模与高效的流式生成。团队整理了涵盖真实与合成环境的 10 万条交互片段,开发了手部感知监督以改善细粒度动作;利用因果流图实现少步生成,并结合区域感知分数蒸馏融合视频与图像先验来优化交互动力学和视觉外观。

    推荐理由:该工作提出手控视频世界模型,通过因果流图与区域感知蒸馏提升交互精度,并开源数据集、权重及代码以支持相关研究。

  2. arXiv · 机器人与计算机视觉47

    SciWorldBench:视频世界模型是否真正理解科学实验?

    SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。

  3. arXiv · 机器人与计算机视觉78

    翻转测试:视频世界模型未能学会世界状态

    该研究通过 FlipTest 对 1,680 帧初始画面中的 25 个任务进行评测,发现所有 11 款视频世界模型均无法准确捕捉微小物理变化(如物体位置毫米级偏移)对未来结果的影响。最佳模型准确率仅 18.3%,低于随机猜测水平,且缺乏对因果状态的识别能力;相比之下,视觉语言模型和代码智能体表现更佳。作者建议社区重新思考世界建模不应仅是像素预测,而需识别控制未来动态的因果状态。

    推荐理由:FlipTest 评测显示现有视频世界模型无法捕捉微小状态变化,建议从纯像素预测转向识别因果状态。

11月11日周三
  1. arXiv · 机器人与计算机视觉72

    基于确定性世界模型的视觉系统动作引导可达性分析

    针对端到端视觉控制器的闭环行为难以验证问题,本文提出确定性世界模型(DWM)和动作引导分区验证方案。DWM 仅从物理状态生成图像,无需潜在变量解码器;结合动作引导的分区策略,在固定计算预算下显著降低未知区域比例。实验显示该方法比 cGAN 代理更准确,鲁棒性区间收窄 1.9 至 69 倍。

  2. arXiv · 机器人与计算机视觉66

    OnlyAct:从基础模型提取动作表示以构建世界模型

    针对视频世界模型训练中动作监督稀缺且难以扩展的问题,本文提出 OnlyAct 方法。该方法不从头学习动作空间,而是利用预训练基础模型(V-JEPA)帧对嵌入中已包含的动作信息,通过无标签对比适应框架在保留场景不变性的同时提取动作表示。研究在机器人操作、相机导航、游戏和驾驶等基准上进行了统一评估,结果显示其生成的世界模型能将演示动作更忠实地迁移到新场景中。

11月10日周二
  1. arXiv · 机器人与计算机视觉55

    CrossLiDAR:可控多传感器激光雷达序列生成

    针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。

  2. arXiv · 机器人与计算机视觉45

    SoftPAT3D:物理增强的文本到三维场景生成框架发布

    SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。

11月6日周五
11月5日周四
  1. arXiv · 机器人与计算机视觉73

    基于数字孪生的反事实世界模型:让视频扩散模型回答“如果”问题

    针对现有世界模型仅能预测事实性观测的局限,该研究提出 CWMDT 框架,通过构建场景的数字孪生(结构化文本表示)并引入大语言模型推理干预传播路径,使标准视频扩散模型能够生成反事实视觉序列。在两个基准测试中,该方法实现了最先进水平性能,表明数字孪生表示可为基于前向仿真的世界模型提供强有力的控制信号。材料为预印本版本,未报告真实机器人部署结果或具体实验条件细节。

  2. arXiv · 机器人与计算机视觉72

    EvoWorld:通过显式 3D 记忆演化全景世界生成

    论文提出了 EvoWorld 模型,旨在弥合全景视频生成与演化 3D 记忆之间的差距,以实现空间一致的长视界探索。该方法以单张全景图为输入,先生成未来视频帧,再利用前馈即插即用 Transformer 演化场景的三维重建,最后基于该显式 3D 记忆的几何重投影合成未来内容。

11月4日周三
  1. arXiv · 机器人与计算机视觉82

    医疗世界模型:能力、证据与可信的临床转化综述

    这篇综述通过结构化叙事综合和可复现的证据映射,定义了医疗世界模型的概念边界与技术基础。研究筛选了 1455 条记录并汇编了 300 个来源,其中 14 项符合严格的实证定义。文章区分了患者状态表征、时间动态建模等四大能力,指出当前证据多处于回顾性或临床前阶段,并提出了从轨迹预测到干预比较所需的精确干预表示与因果机制等具体证据要求。

    推荐理由:该综述梳理了医疗领域世界模型的四大能力与临床转化证据要求,区分技术可行性与临床成熟度,为相关团队提供评估框架。

  2. arXiv · 机器人与计算机视觉58

    SWAP-INR:一种用于时变多变理科学数据压缩的隐式神经表示方法

    针对高性能计算环境中多变量科学仿真数据存储瓶颈问题,本文提出 SWAP-INR 架构以实现高保真压缩。该方法引入可切换注意力路径(SWAP)模块以显式建模跨变量交互并剪枝冗余层,同时利用自适应放大 SIREN(A2-SIREN)替代刚性频率缩放以适应异构物理特征。

11月3日周二
  1. arXiv · 机器人与计算机视觉72

    AuroraWorld:面向机器人操作的内视角视频生成的结构化 4D 世界建模

    论文 AuroraWorld 提出一种结构化 4D 世界建模方法,用于从大规模外视角(exocentric)机器人操作视频中合成物理一致且策略相关的内视角(egocentric)观测数据。该方法旨在解决现有技术在处理大幅视点变换、严重遮挡及复杂物体交互时难以生成高质量内视角视频的难题。材料为 arXiv 预印本版本,未提及同行评审状态或具体实验结果。

  2. arXiv · 机器人与计算机视觉78

    AgiWorld:一种用于构建持久化世界的代理式视频世界模型

    arXiv 论文发布 AgiWorld,这是一种代理式视频世界模型,旨在从单张图像和自由指令出发构建并探索持久化世界。系统包含负责高层规划与路径设计的 AgiWorld-Agent 和负责逐帧生成视频的 AgiWorld-WM,两者共享空间记忆以维持状态一致性与用户意图忠实度。

    推荐理由:提出 AgiWorld,通过智能体与视频模型的闭环及空间记忆机制解决长序列探索中的持久性问题。

  3. arXiv · 机器人与计算机视觉49

    潜在预测误差何时支持物理惊奇声明:视频世界模型评估框架

    针对视频世界模型的预测误差常被误作物理惊奇,该研究提出新评估框架以区分外观、静态内容及普通预测难度。在 IntPhys2 基准上对比发现,V-JEPA2 仅暴露有限的可能性信息,且固定误差阈值会错误标记许多可能事件为不可能。结论表明模型虽能表征物理信息并响应错误动作,但其原生预测误差无法可靠衡量物理惊奇。

  4. arXiv · 机器人与计算机视觉54

    Seeing the Unseen:面向物理一致性的视频生成统一框架

    论文提出 Seeing the Unseen 框架,旨在解决现有视频生成方法缺乏显式物理过程建模导致动态不一致的问题。该方法分为两阶段:首先利用轻量级粒子图动力学模拟器(PGDS)从数据中学习泛化物理交互并预测合理的三维运动轨迹;其次构建可见 - 不可见运动场(VIMF),捕捉输入帧中可观测的运动及随时间涌现的物体动态,相比传统物理信号提供更完整和结构化的运动引导。

  5. arXiv · 机器人与计算机视觉48

    Pano2BIM:基于几何约束的视觉语言智能体生成竣工 BIM 模型

    Pano2BIM 是一款几何约束型视觉语言智能体,能利用已知尺寸的平面图和单张 360°照片生成 LOD 200 级别的近似 IFC4 建筑信息模型。在实验室初步评估中,其测量工作流家具足迹交并比(IoU)达 0.53,优于基线的 0.44,且单次运行耗时约 42 分钟、API 成本仅 11 美元。该研究证明了低成本快速生成竣工 BIM 的可行性,有助于维护反映物理状态变化的数字孪生体。

  6. arXiv · 机器人与计算机视觉52

    FORCE:面向视频世界模型的反事实编辑因子化物体关系

    论文 FORCE 提出一种能从原始视频中推断并显式表示成对物体交互关系的视频世界模型架构,支持直接移除、改变或引入特定物体间的相互作用。该方法利用冻结自监督特征的槽注意力提取物体,通过关系编码器将短时观察窗口转化为力,并在 rollout 过程中保持潜变量固定以确保编辑持久性。

11月2日周一
  1. arXiv · 机器人与计算机视觉66

    视频基础模型如何编码直觉物理:跨预训练范式的探测研究

    该论文探究视频基础模型是否在冻结表征中编码了可用的直觉物理信息,以及这种能力是否自然涌现于大规模视频预训练中。研究利用 IntPhys2 和 MVP 基准,对比了预测联合嵌入(V-JEPA)、掩码重建(VideoMAE)和扩散生成(LTX-Video)三类模型在冻结特征上的表现。

  2. arXiv · 机器人与计算机视觉78

    让激光雷达决定看向何处:用于高效稀疏潜在世界模型的几何测量 Token 选择

    针对以视觉为中心的自动驾驶模型冗余编码天空、建筑等无关内容的痛点,提出 Geometry-Aware Token Selection (GATS) 方法。该方法利用 LiDAR 和雷达点投影在视觉骨干网络运行前筛选关键图像区域,使端到端计算量最高降低 18 倍。

    推荐理由:提出基于 LiDAR 几何的 Token 选择方法,在大幅降低计算量的同时提升规划相关场景的预测精度与安全性。

10月30日周五
10月28日周三
  1. arXiv · 机器人与计算机视觉85

    视频世界模型的潜变量为何与动作相关:预测优于重建

    论文研究了不同预训练信号如何诱导视频世界模型潜变量中的动作相关结构。研究通过统一的逆动力学探针评估发现,时序视频预训练主要驱动了动作相关性,而像素重建保真度并非关键;具有强解码质量的模型可能表现出近零的动作恢复能力。此外,逆动力学监督显著提升了模型对视觉扰动的鲁棒性。该工作已接受至 CoRL 2026。

    推荐理由:该研究通过统一探针评估发现,视频预训练带来的时序预测结构是驱动潜在空间动作相关性的核心因素,而非像素重建保真度。

  2. arXiv · 机器人与计算机视觉68

    Hy-Nomas:面向自由形式交互的世界生成技术报告

    arXiv 发布的技术报告介绍了 Hy-Nomas,这是一个基于 8B 扩散骨干的视频世界模型,支持多轮次交互中的自由文本指令与连续相机控制。其核心设计将结构化视频描述与动作感知因果注意力对齐,并通过视觉语言提示增强器处理多模态历史。研究展示了优于现有模型的评估结果,并开源了模型权重、代码、基准及轻量级适配工作流以支持可复现研究。

10月27日周二
  1. arXiv · 机器人与计算机视觉15

    物理信息感知数字孪生实现奶牛核心体温精准预测

    该研究提出结合 ODE 热调节模型与行为马尔可夫链的数字孪生框架,利用 MmCows 数据集在奶牛核心体温两小时超前预测中取得 R2 0.783、F1 84.25% 及 PICP 92.38% 的性能。三阶段堆叠集成架构融合多模态特征与不确定性量化,显著优于消融实验基线,为精准畜牧养殖提供鲁棒的早期热应激检测方案。

  2. arXiv · 机器人与计算机视觉78

    视频世界模型需要可预测的潜变量:一种兼顾动态建模与像素准确性的新架构

    针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。

    推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。

  3. arXiv · 机器人与计算机视觉38

    PhysCreator:从图像生成具备空间物理属性的 3D 资产

    PhysCreator 是一个统一框架,能从图像直接生成带有空间变化物理属性的仿真就绪 3D 表示。该方法通过体素对齐的隐空间联合建模几何、外观与物理属性,并利用视觉语言蒸馏将语义先验转移至体素级监督。实验表明,相比现有方法,PhysCreator 在视觉质量、物理合理性和泛化能力上均表现更优。

  4. arXiv · 机器人与计算机视觉72

    Mix Forcing:基于混合注意力的交互式视频世界模型的因果预训练

    针对交互式视频世界模型需自回归生成但直接适配会破坏视觉先验的问题,本文提出 Mix Forcing 范式。该方法利用双向与自回归的混合注意力机制(MoBA),联合进行教师强制与双向训练以构建强因果初始化,并通过分块交叉注意力支持在线文本交互。

10月26日周一
  1. arXiv · 机器人与计算机视觉35

    双体交互视频揭示物理 AI 编码器中的关系物理属性

    V-JEPA2 与 VideoMAE 两个冻结的自监督视频编码器在双体设置下,能可靠区分弹性与非弹性碰撞。V-JEPA2 的动能读数可跨环境迁移且其预测器对产生动能的碰撞更敏感,但两模型均无法保持随几何变化而稳定的摩擦系数。该研究揭示了现有工作仅关注单物体量的局限,表明关系物理属性(如动量传递)在视频编码器中的表征能力存在显著差异。

10月22日周四
  1. Hugging Face Daily Papers82

    ALPS:用于世界模型的视觉状态编码器

    ALPS 是一种预训练的视觉状态编码器,旨在将物理状态信息、原生语言对齐和像素重建能力统一于单一的 patch token 表示中。研究团队仅使用静态图像和文本数据,从 scratch 预训练了 ViT-B/16 模型,并通过跨视图自蒸馏进行优化。

    推荐理由:该预训练视觉状态编码器统一了物理状态、语言对齐与像素重建,在多项基准上实现最优聚合误差并支持下游策略规划。

10月21日周三
  1. arXiv · 机器人与计算机视觉74

    OverSeer:超越智能体视野的多智能体世界模型

    针对多智能体视频世界模型难以保持跨智能体与时空一致性的问题,本文提出 OverSeer 方法,通过引入固定空间的辅助视角作为世界中心表征的代理,并采用 delta-VAE 对冗余静态信息进行高效压缩。实验在 Minecraft、Doom 及真实多相机捕获场景中验证了该方法能显著提升模型的世界与智能体一致性,且计算开销大幅降低。

  2. arXiv · 机器人与计算机视觉58

    ConfigWM:一种支持可配置感知的世界模型方法

    针对现有世界模型编码器无法自适应过滤任务无关信息的痛点,本文提出了 ConfigWM 方法。该方法利用语言描述的任务作为配置信号,引导视觉嵌入映射到特定任务的状态空间,从而选择性保留相关信息并抑制干扰。在动作条件动态学习的基础上,实验表明 ConfigWM 在噪声环境中的规划成功率平均比最强竞争方法高出 22.3%,且在物理量探测和受干扰检索任务中表现稳健。

10月20日周二
  1. arXiv · 机器人与计算机视觉54

    针对跨语言与多模态智能体的潜伏投毒攻击防御研究

    论文揭示了基础模型作为智能体时潜伏投毒攻击的两大风险:无害微调可激活未见过的新危害行为及多种危害行为的共存激活。作者提出 LookAhead Defense 方法,利用投毒者必须保留发布阶段安全行为的特性构建 Safety Buffer,并预览无害微调更新以仅惩罚削弱安全的行为,在跨语言和多模态智能体上将有害行为率从最高 93.9% 降至 14.2%,同时保持低误拒率和竞争力用性。

  2. arXiv · 机器人与计算机视觉68

    FunCAD:合成具备功能的 CAD 机制研究

    针对大语言模型生成的 CAD 装配体常无法实现预期物理功能的问题,本文提出 FunCAD-Harness 框架,将抽象需求转化为候选方案专用的物理测试,利用仿真反馈指导设计迭代。研究构建了涵盖 46 类机械结构的 FunCADBench 基准,实验表明该方法能发现视觉检查难以察觉的机械故障,显著优于标准仿真增强基线。

  3. arXiv · 机器人与计算机视觉48

    InfiniDream:通过程序化生成实现开放式的照片级真实 3D 世界

    InfiniDream 是一个由 VLM 驱动的框架,旨在解决现有方法受限于预定义工厂和 API、难以创建新型资产的问题。该框架提出符号约束资产生成与端到端文本到世界管线,在 100 个物体及 20 个场景生成任务上提升了四项感知指标并通过了人类偏好评估。项目页面已公开,代码与权重许可状态待定,相关论文为 arXiv 预印本版本。