跳到正文
10月7日周三
  1. arXiv · 机器人与计算机视觉65

    RenderBench:基于重建数字孪生的渲染到现实视频迁移基准测试

    RenderBench 是一个包含 12 个重建真实世界场景的基准数据集,涵盖大规模室内环境和第一人称视角,包含静态与动态设置。该基准由视觉几何、神经重建和辅助 3D 创作构建,每个场景被分解为静态物体和动态演员,并注册到捕获相机上。

  2. arXiv · 机器人与计算机视觉38

    稀疏透视下导管导航的信仰状态世界模型:平面概念验证

    该研究提出基于 Cosserat 杆模拟器和粒子滤波器的信念状态世界模型,旨在稀疏 X 射线采集间维持内血管导管导航。在合成平面血管幻象中,该模型以连续速率十五分之一获取观测时,尖端追踪均方根误差为 1.30 mm,接触风险估计的 AUROC 达 0.68。这些结果仅在简化仿真环境中成立,旨在证明校准后的信念状态是稀疏成像世界模型的关键属性,而非临床就绪演示。

  3. arXiv · 机器人与计算机视觉78

    Crazyflow:面向空中机器人的大规模退化反馈仿真平台

    该工作介绍了基于 JAX 的可微仿真器 Crazyflow,利用 XLA JIT 编译将物理与控制统一为单一可微计算图,实现加速硬件上的大规模并行化且保持建模精度。系统集成了高保真超宽带(UWB)和惯性测量单元(IMU)模拟管道及全状态扩展卡尔曼滤波(EKF),支持在真实退化状态下对控制器进行大规模并行评估,显著提升了训练速度并服务于下一代空中机器人研究。

    推荐理由:该工作提出基于 JAX 的可微仿真器 Crazyflow,支持大规模并行训练强化学习智能体,并集成了高保真 UWB 与 IMU 模拟及扩展卡尔曼滤波,为空中机器人研究提供基础工具。

  4. arXiv · 机器人与计算机视觉78

    PhysLDM:面向高保真可变形仿真的潜空间扩散方法

    PhysLDM 是首个针对体形可变形动力学的潜空间自编码器与扩散范式。该方法通过整体时空 VAE 避免标准压缩的阶梯伪影,在米级场景中实现约 2.48 毫米的重建精度和高达 78 倍的 Token 压缩率。

    推荐理由:PhysLDM 提出首个基于潜空间扩散的高保真体形变形仿真范式,在米级场景中实现约 2.48 毫米重建精度,并证明扩散模型比确定性回归更适合处理混沌动力学。

  5. arXiv · 机器人与计算机视觉72

    面向世界模型的鲁棒决策:潜在空间扰动建模方法

    本文研究如何在世界模型的潜在空间中实现鲁棒决策。针对传统显式动力学难以定义潜在空间扰动的挑战,作者提出将扰动视为对已学习潜动力学的修正,通过结合感知动力学相似性的指标与分布外检测来构建合理的潜在动态集合,并利用共形预测校准不确定性集。

  6. arXiv · 机器人与计算机视觉45

    Toward Trustworthy Physical AI for Human Interaction:提出融合安全、行为可解释性与感知对齐的可信物理 AI 框架

    针对机器人进入人类空间过快而信任标准滞后的问题,该研究提出一个整合具身、控制、认知与设计维度的可信物理 AI 框架。框架通过统一物理能力、可观测行为及用户交互预期来涌现信任worthiness,涵盖安全、行为可解释性和感知对齐三大核心要素。目前为 arXiv 预印本(arXiv:2610.07382),尚未进入同行评审或正式出版阶段。

  7. arXiv · 机器人与计算机视觉74

    GeoWM:显式几何的直接世界建模

    针对自动驾驶与机器人领域建模三维场景及其随时间演化的需求,本文提出了 GeoWM,一种直接预测未来场景几何的世界模型。该方法利用几何基础模型将观测到的 RGB 帧转化为几何历史,并以此条件化流匹配 Transformer 来预测指定未来时步的几何结构;同时引入轻量级相机运动预测器估计未来视点,并将观测几何投影至该视点以提供有效的几何先验。

  8. arXiv · 机器人与计算机视觉48

    Distribution-Transfer Safe-Horizon MPC 在模式不确定性下的分布转移安全研究

    针对场景基于模型预测控制对分布失配敏感的问题,该方法为受切换动态模式约束的障碍物构建置信集,将选定采样分布的安全证书转移至置信集中所有概率律。研究利用 Wasserstein 几何正则化概率重分配并引入碰撞风险代理偏向危险模式采样,明确量化了分布失配所需的额外收紧及组合保守性。该预印本论文(arXiv:2610.07277)聚焦于机器人控制与系统理论中的不确定性处理机制。

  9. arXiv · 机器人与计算机视觉78

    AIM:自适应交互建模网络用于真实到仿真的软体模拟

    针对可变形物体操作中的空间邻域误差累积及场景适配问题,论文提出 AIM 自适应交互建模框架。该框架利用运动历史与几何信息动态调整粒子关系,并通过几何条件化的全局通信协调整体响应。

    推荐理由:提出 AIM 框架,通过局部全局交互建模提升软体仿真精度与跨场景迁移能力。

  10. arXiv · 机器人与计算机视觉78

    Demo: 视觉语言模型引导的电磁数字孪生在线校准

    该论文演示了一种由视觉语言模型(VLM)引导的电磁数字孪生在线校准框架,使用宇树 G1 机器人和 NVIDIA Sionna。系统通过两次 VLM 调用:首先利用 ITU-R P.2040 标准将可见材料映射为电导率先验以辅助 Sionna 基于累积接收信号强度(RSS)进行梯度下降;其次利用剩余 RSS 校准误差和图像覆盖度在线规划下一测量点。

    推荐理由:该工作演示了利用视觉语言模型引导电磁数字孪生在线校准的框架,在真实室内场景中实现了低误差的材料电导率估计与路径规划。

  11. arXiv · 机器人与计算机视觉72

    Artemis:一种具有共享 3D 状态与渐进式记忆更新的地形 grounded 多智能体驾驶世界模型

    该论文提出了 Artemis 模型,旨在解决现有视频世界模型在跨视角一致性、恢复视野外智能体及处理动态背景方面的不足。该方法通过从多智能体观测重建显式的 3D 世界地图来统一状态,并开发动作引导的几何注入模块以区分受控前景与不受控背景动力学。研究构建了基于 CARLA 仿真器的 MA-CARLA 数据集,实验表明其在视觉保真度和跨视角一致性上优于现有方法,且支持多模态生成及多智能体、多相机场景。

  12. Hugging Face Daily Papers42

    World Models' Last Exam in Physics 基准评测视频世界模型物理一致性

    针对现有视频世界模型视觉逼真但物理不一致的问题,该研究提出 World Models' Last Exam in Physics 基准,涵盖力学、光学等四大类共 40 个受控任务。实验显示八款生成模型在 1280 个视频中最佳得分仅 57.76/100,且存在显著差异。该测量型评测无需参考视频即可解释物理关系,为诊断不一致性提供了可验证依据。

  13. Hugging Face Daily Papers84

    miniTE:诊断并弥合原生 NVFP4 强化学习的执行差距

    该论文提出 miniTE 轻量级框架,结合执行诊断、跨引擎数值对齐及高效原生 W4A4 GEMM 计算,解决大语言模型强化学习中训练与采样引擎间的不一致问题。

    推荐理由:原文介绍了 miniTE 框架,展示了在 Qwen3-30B-A3B 模型上实现原生低比特强化学习稳定训练与高吞吐率的实验结果。

  14. OpenCV Blog4

    OpenCV 直播预告:构建物理 AI 管线——OpenCV 到 NVIDIA Isaac Sim

    OpenCV 将于 2026 年 10 月 8 日周四上午 9 点(太平洋时间)举办名为"OpenCV Live! 228"的直播,主题聚焦构建从 OpenCV 到 NVIDIA Isaac Sim 的物理 AI 管线。NVIDIA Isaac Sim 作为开源参考框架,支持在基于物理的虚拟环境中进行机器人仿真、测试及合成数据生成,并能摄入 CAD、URDF 或真实世界捕获等多源数据。

10月6日周二
  1. 量子位45

    陶哲轩呼吁 AI 数学研究慢下来以应对“证明消化不良”危机

    陶哲轩在 SAIR 演讲中批评模型公司无休止加速导致“证明消化不良”,指出 AI 仅能完成解答与形式化验证,却缺失阐释、评审及写入教科书等后续环节。这种知识拥堵将引发数学家创造力丧失与数据污染风险,迫使学界联合菲尔兹奖得主联名抗议并要求放缓发展速度。OpenAI 虽成立顾问小组回应,但声明明确该组不负责数学内部进展建议,无法根本解决加速带来的隐患。

  2. Hugging Face Daily Papers83

    基座模型可通过从训练数据获取线索进行推理

    该研究探讨了训练数据如何在基座模型的响应起始 token 与后续推理行为之间建立关联。实验表明,固定特定的起始 token 线索(如'. Okay'或'Alright,')可使基座模型在数学和代码任务上的表现接近强化学习(RL)微调版本。

    推荐理由:原文揭示了训练数据中的特定起始 token 可作为推理触发器,通过因果干预验证了其对数学、代码及模型安全行为的控制作用。

  3. arXiv · 机器人与计算机视觉45

    T-PAI 框架:从理论到全生命周期的可信物理智能实践指南

    针对现有可信 AI 框架难以应对物理安全与不可逆后果的挑战,该研究提出涵盖核心能力、物理作用及五阶段生命周期的 T-PAIO 运营化方案。作者进一步构建了包含关键原则的 T-PAI 理论框架,旨在为治理可信物理智能系统提供基础。相关论文已作为预印本发布于 arXiv,目前处于公开评审阶段。

  4. arXiv · 机器人与计算机视觉78

    Look-Before-Move:基于叙事的动态 3D 故事世界视觉注意力研究

    论文提出了 Look-Before-Move 框架,将相机规划解耦为观察规范与运动执行,通过语义观察契约、蒙特卡洛视点搜索和语义轨迹接地技术,在动态三维故事世界中实现叙事驱动的视觉注意力。

    推荐理由:该工作提出叙事驱动的视觉注意力框架,在动态三维故事世界中实现先观察后移动的相机规划。

  5. arXiv · 机器人与计算机视觉67

    PROWBench:视频模型是否渲染了程序指定的内容?

    arXiv 论文介绍 PROWBench 基准,包含 170 个程序化构建的剧集和 600 个代理视频,涵盖多样场景与交互。该基准记录实体状态和时间戳事件(包括视野外),支持回放世界记录和同步多视角渲染(如粗粒度 3D、边界框)。基于这些记录,PROWBench 评估实体控制、长程记忆,并利用两个基于 VLM 的指标(逻辑 - 渲染对齐度与交互成功率)检验对规定时间线和引擎记录事件的视觉实现。

  6. arXiv · 机器人与计算机视觉77

    UniWAM:统一世界 - 动作模型

    UniWAM 是一种统一架构,整合物理推理器、世界生成器和动作预测器,旨在联合学习物理世界的语义理解、视觉生成和动作预测。研究团队开发了严格的数据清洗与标注流程以处理人类第一视角数据和机器人数据,并在预训练中利用视觉问答等互补监督信号适配具身任务。

    推荐理由:该工作提出统一架构融合物理推理与动作预测,并验证了人机混合数据预训练的缩放定律。

  7. arXiv · 机器人与计算机视觉82

    现实到仿真再到现实的协同训练中世界与行为的 grounding 研究

    论文提出一种 real2sim2real 协同训练管线,独立调节世界保真度(world grounding)和行为对齐(behavior grounding)两个轴以生成数据。

    推荐理由:提出独立调节世界保真度与行为对齐的共训练管线,在动态灵巧分拣任务中将成功率从 52% 提升至 86%,揭示两者互补作用。

  8. arXiv · 机器人与计算机视觉72

    事件边界处的远见:评估视频世界模型的物理预测能力

    针对视频世界模型仅间接评估预测能力的现状,本文引入基于 62 次真实自由落体录制和 124 个片段的事件锚定评估协议,分离后果生产、时间定位与物理实现。结果显示 Runway 和 Veo 虽能生成事件但常延迟发起,Cosmos-Predict-2.5 和 MAGI-1 则难以产生可测量后果;人类研究进一步揭示在合理延续中存在真实歧义。

  9. arXiv · 机器人与计算机视觉82

    One from Infinity:从预训练世界模型中实际化出机器人动作

    论文提出 RoboActualizer 方法,旨在解决如何将预训练视频世界模型的多种潜在未来转化为特定任务条件下的确切执行策略。该方法将核心问题形式化为“实际化”,即在冻结的世界模型编码器之上,通过一个仅含约 60M 参数的轻量级实际化器模型(由两个 DiT 专家组成)来筛选并读出实现任务的行动序列。

    推荐理由:提出在冻结预训练世界模型上仅用轻量级实际化器将潜在未来转化为机器人动作,大幅降低参数与算力需求。

  10. arXiv · 机器人与计算机视觉48

    CoDimRecon:基于智能体的可变形曲线曲面与体积仿真就绪三维场景重建框架

    CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。

  11. arXiv · 机器人与计算机视觉68

    Teaching Vision-Language Models to Use the Scale They Are Given: Label-Free Equivariance Training for Metric Physical Reasoning

    论文提出一种无需标注的等变性自蒸馏(EquiSD)训练方法,解决视觉语言模型在视频尺度推理中仅部分利用提示词参考的问题。该方法利用物理量缩放关系的精确性作为监督信号,通过投影预测并微调模型,使其能在未见过的尺度上接近精确关系。实验显示,该方法在合成视频和 QuantiPhy 基准测试中均提升了跨尺度的准确性,且无需真实世界标注或模拟器答案。

  12. arXiv · 机器人与计算机视觉68

    ReactiveGWM:支持灵活控制与 NPC 反应的游戏世界模型

    针对现有游戏世界模型在多人物游戏中角色功能固定、难以区分视觉相似角色的局限,该研究提出 ReactiveGWM 框架。该方法利用初始帧的实例掩码将学习到的角色句柄锚定到对应区域,并通过统一代理条件化技术融合玩家动作与 NPC 规则信号。

  13. arXiv · 机器人与计算机视觉78

    具身智能时代基于物理仿真的机器人导航与操作综述

    这篇论文是接受于 ACM Computing Surveys 的综述,系统分析了物理仿真器如何解决具身智能中导航和操作任务的 sim-to-real gap。文章重点考察了以往研究较少关注的仿真属性、针对导航与操作任务的功能特性以及硬件要求。此外,作者整理了一份包含基准数据集、评估指标、仿真平台和方法的资源清单,旨在帮助研究人员在考虑硬件约束的前提下选择合适的工具。

    推荐理由:该综述聚焦物理仿真在导航与操作任务中的 sim-to-real gap,分析硬件需求并提供基准数据集与工具选型资源。

  14. arXiv · 机器人与计算机视觉82

    H-JEPA:面向视觉规划的端到端分层世界模型学习

    论文介绍 H-JEPA,一种用于长程规划的端到端分层世界模型方法。该架构包含多个动作条件化的 JEPA 层级,每层在独立潜空间预测不同时间尺度的未来:顶层优化目标进度,下层将高层预测作为子目标。

    推荐理由:提出分层 JEPA 架构,在仿真与真实机器人视频中通过时间尺度分解提升长程规划成功率并降低计算开销。

  15. arXiv · 机器人与计算机视觉78

    EpicWorldModel:面向部分可观测环境的探索驱动规划框架

    EpicWorldModel 是一个用于训练具有内在不确定性的潜在世界模型的框架。该研究针对传统确定性 JEPA 在部分可观测场景(如遮挡)下失效的问题,提出联合训练预测器与潜在表示空间,利用流匹配目标直接预测多个潜在未来状态。

    推荐理由:该工作提出基于流匹配的目标的随机 JEPA,利用预测方差引导 CEM 规划以解决部分可观测环境下的探索问题。

  16. arXiv · 机器人与计算机视觉78

    面向安全规格的场景组合统计模型检查方法

    针对自动驾驶等关键领域需评估大量复合环境条件的挑战,本文提出一种基于场景的组合统计模型检查(SMC)框架。该方法将复合场景分解为基元、规格分解为子规格,独立验证各基元后利用重要性采样和核密度估计组合统计结果。实证表明该框架能准确回答未见过的复合场景查询,并通过并行化和轨迹重用降低仿真成本。材料为 arXiv 预印本,已接受至 RV 2026 会议。

    推荐理由:提出基于场景的组合统计模型检查框架,通过分解与重用轨迹降低仿真成本。

  17. arXiv · 机器人与计算机视觉48

    Latent Safety Filters:当有损编码器颁发可转移安全证书时

    该研究提出潜在安全滤波器,在低维状态表示上认证安全性以抵抗解析描述约束。实验构建系统证明,若丢弃的安全相关动力学不可检测,则不存在能传递至物理系统的证书;反之,当子空间可检测时,校准的屏障可在有限裕度下转移真实安全。

  18. arXiv · 机器人与计算机视觉66

    S2PD:一种用于生成物理和逻辑一致视频的串行到并行扩散方法

    该文介绍 S2PD 方法,通过在高噪声阶段进行自回归扩散以协调相互依赖的事件并产生有效状态转换,随后在低噪声阶段切换至并行扩散以联合优化整个视频。该方法包含从头训练的像素空间扩散 Transformer 及经 LoRA 微调的预训练视频模型两个架构。实验显示,S2PD 在游戏、物理仿真和真实视频中比匹配的双向基线更可靠地遵循规则,且相比其他串行方法具有更高的时间稳定性和采样效率。

  19. arXiv · 机器人与计算机视觉83

    TAPDreamer:一种可迁移的对抗补丁用于攻击世界动作模型

    论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。

    推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。

  20. arXiv · 机器人与计算机视觉74

    RealtimeWAM:一种一步异步世界动作模型

    针对现有世界动作模型(WAMs)在多步去噪和专家串行执行上的效率瓶颈,本文提出 RealtimeWAM 架构。该方法通过教师锚定一致性蒸馏实现一步动作生成,并利用跨专家波前流水线消除等待开销。实验显示,该模型在 LIBERO、LIBERO-Plus 及 RoboTwin 等基准上性能损失小于1%,在 H100 硬件上端到端速度提升约25倍。代码与检查点已开源。

  21. arXiv · 机器人与计算机视觉72

    SimForcing:将仿真运动先验蒸馏进真实域机器人世界模型

    针对异质机器人视频学习动作条件化世界模型的挑战,本文提出 SimForcing 框架,利用仿真作为可迁移的运动知识源和可控预测参考。该方法通过潜空间蒸馏对齐时间变化以内部化运动先验,并引入多块仿真条件与条件丢弃机制,平衡基于内部知识与仿真潜变量的预测。

  22. arXiv · 机器人与计算机视觉42

    双变分自编码器实现低成本机器人导航的高效仿真到现实迁移

    阿利坎特大学团队提出结合域随机化与特征级域适应的混合框架,利用 45225 张仿真图和 4556 张真实图训练共享解码器架构。该方法在真实室内导航图像分类任务中平均成功率近 91%,显著优于纯仿真或纯现实训练基线。研究已在低成本机器人上完成反应式探索任务的直接部署,并验证了在树莓派 4 和 NVIDIA Jetson Nano 等嵌入式平台上的计算效率。