跳到正文
11月10日周二
  1. arXiv · 机器人与计算机视觉68

    RedPhys:面向物理世界模型与智能体的可扩展红队测试平台

    RedPhys 是一个针对物理世界模型(PhyModels)和智能体(PhyAgents)的可扩展红队测试平台,旨在发现具有物理基础的函数故障。该平台集成了12种红队方法、3种模型无关防御机制以及13个涵盖七个物理领域的模型,在黑色盒威胁模型下进行评估。

  2. arXiv · 机器人与计算机视觉75

    Next Forcing:一种支持多块预测的世界动作建模方法

    Next Forcing 是一种针对世界动作模型(WAM)的多块预测(MCP)框架,旨在解决自回归视频生成训练慢、收敛精度低及推理迭代耗时的难题。该方法引入轻量级辅助模块,同时去噪多个未来时间步的视频块,利用中间特征融合实现因果链式预测,为模型提供密集多尺度时序监督。

  3. arXiv · 机器人与计算机视觉82

    MineXplore:面向无 GPS 地下环境的强化学习探索开源基准

    论文提出了 MineXplore,这是一个基于 MuJoCo 的开源导航基准,数据源自智利铜矿实地测绘。环境重构了 104,423 平方米的隧道网络,包含八边形截面、LiDAR 来源的锯齿状几何、三种地形摩擦区及周期性照明。

    推荐理由:该基准提供基于真实矿场几何的地下导航环境,支持 GPU 加速学习流程,并验证了策略在 GNSS 拒止条件下的稳定性。

  4. arXiv · 机器人与计算机视觉43

    DeformMaster:从视频构建可交互物理神经世界模型以模拟可变物体

    DeformMaster 是一个从真实视频推导出的交互式物理 - 神经世界模型,能在统一动力学与外观框架下恢复几何、物理动态及材料行为。实验在真实世界可变物体序列上验证了其未来动力学推演与高保真渲染能力,优于最先进基线并支持新动作推演与材质参数变化。代码与视频演示已在项目页面公开,该版本为 NeurIPS 2026 Camera ready。

  5. arXiv · 机器人与计算机视觉38

    Swim2Real:视觉语言模型用于软体机器人鱼仿真校准

    Swim2Real 利用视觉语言模型(VLM)对比真实与模拟视频,通过回溯线搜索优化 16 个仿真参数以匹配软体水下机器人的变形与推进。独立预注册的五十种子实验显示,该方法在 40 次评估中将平均最佳误差较随机方向降低 63.4 mm、较置换方向降低 53.2 mm(p<10^-5)。

  6. arXiv · 机器人与计算机视觉49

    RSLCPP 实现 ROS 2 确定性仿真以解决复现难题

    RSLCPP 通过新方法利用 ROS 2 节点创建确定性仿真,无需修改源代码即可在各类 CPU 和架构上获得一致结果。该方法解决了异步多进程设计导致的不可复现问题,适用于科学基准测试与持续集成场景。项目已开源,支持合成基准及真实机器人系统验证。

  7. arXiv · 机器人与计算机视觉49

    $\Sigma$-LeWM:引入反向动力学与逆动力学损失的世界模型学习新方法

    $\Sigma$-LeWM 在 LeWorldModel 基础上增加反向动力学预测器及逆动力学动作预测器,通过额外潜变量损失强化隐空间结构以提升规划效率。该方法已在标准世界模型基准及两个仿真机器人操作任务上验证了性能与效率的双重增益。研究旨在提升此类方法在真实机器人实时基于模型的控制系统中的适用性。

  8. arXiv · 机器人与计算机视觉44

    Simulation-aided Reinforcement Learning with Control Variates 提出保守仿真辅助学习方法,在 MuJoCo 基准任务上优于标准混合策略

    该方法利用控制变量法仅降低学习过程方差而非直接塑造学习目标,适用于策略评估及 Actor-Critic 框架下的策略改进与离线 RL 场景。MuJoCo 基准实验表明其性能优于标准仿真混合方法,论文已作为 NeurIPS 2026 海报被接收并开源代码。

  9. arXiv · 机器人与计算机视觉57

    缓解 GPU 上 3D Gaussian Splatting 的 SM 级负载不均衡

    论文指出现有 3DGS 优化依赖重训或专用加速器,提出一种软件定义的 GPU 调度方法,利用持久化内核优先处理高负载图块并分片异常图块。该方法无需重训或硬件改动,在大规模城市场景中平均加速 Alpha 混合达 2.93 倍,最不平衡帧可达 5.6 倍,且保留原有 Alpha 混合公式。

  10. arXiv · 机器人与计算机视觉72

    Same Physics, Different Gradients:可微物理仿真状态报告

    该论文系统梳理了可微物理仿真中“计算对象”与“反向传播实现”的分类差异,指出精确梯度优势取决于拟合目标来源而非单纯求解器预算。研究量化了接触非光滑性导致梯度丢失的四种机制,并验证了在特定条件下零阶方法优于模拟器梯度的现象。材料提供了报告清单、诊断工具及未来研究议程,旨在澄清文献中的混淆概念。

  11. arXiv · 机器人与计算机视觉78

    单步世界模型需要多少候选?基于冻结 DINO 令牌的最近邻训练研究

    该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。

    推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。

  12. arXiv · 机器人与计算机视觉74

    WMPA:面向机器人嵌入式 AI 的硬件 - 算法协同设计的世界模型规划加速器

    论文提出世界模型规划加速器(WMPA),旨在解决嵌入式设备上运行世界模型时的功耗与热限制问题。研究通过信息论推导了潜状态转换的计算下限,并分析 DreamerV3 风格模型的实测数据,发现其受限于内存带宽且能耗远超 CMOS 物理极限,导致持续计算引发严重过热。

  13. arXiv · 机器人与计算机视觉35

    DreamLander:基于 DreamerV3 的 6-DOF 世界模型强化学习行星着陆算法

    DreamLander 利用 DreamerV3 构建样本高效且泛化性强的模型,解决真实六自由度进入下降着陆问题。该算法在指定着陆区误差小于 2 米、速度范数低于 0.3 米/秒的条件下实现软动力下降,推动端到端解决方案进展。目前为 arXiv 预印本(arXiv:2611.12824),待正式注册 DOI 并投稿至 AIAA SCITECH 2026 Forum。

  14. arXiv · 机器人与计算机视觉73

    Library of Hands:修手而非修世界模型

    arXiv 论文提出 Library of Hands (LoH),一种无需重新训练即可适配不同控制器或相机视角的世界模型方法。该方法冻结 LeWM 等世界模型,仅通过读取摄像头图像差异来识别并修正指令到实际动作的映射(即“手”),从而解决同一指令在不同硬件下效果不一致的问题。

  15. arXiv · 机器人与计算机视觉78

    WanderBench:能否从视频中探索动态世界?

    论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。

    推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。

  16. arXiv · 机器人与计算机视觉78

    面向机器人世界模型空间泛化的动作表示研究

    Yuhang Sun 在 arXiv 上发布了一项关于机器人世界模型中空间泛化的研究。该工作通过受控的机器人剥离基准,评估了在世界、物体和表面坐标系下定义的动作表示如何捕捉跨空间配置有效的物理关系。

    推荐理由:该研究通过受控的机器人剥离基准,评估了不同坐标系下动作表示对物理关系捕捉的有效性,为设计具备跨空间配置泛化能力的机器人世界模型提供了理论依据。

  17. arXiv · 机器人与计算机视觉72

    连接机器人中基于证据的共同信念更新基准与分层评估协议

    针对现有评估仅关注最终结果而忽略证据归因、信念更新及矛盾处理的问题,本文提出 CREG 基准以衡量多机器人系统的共享推理轨迹。该基准包含 350 个确定性生成的场景,覆盖七种规范后验参考情境,并引入独立对数几率检查器与盲审机制。

  18. arXiv · 机器人与计算机视觉85

    Planners Exploit Deterministic Error: Dithered Low-Bit World Models

    论文发现基于采样的规划器在低比特世界模型中因确定性舍入误差而崩溃,提出通过迭代内重绘的共享抖动方案可在不训练的情况下消除大部分损害。实验显示该策略将 W8A4 整数模型的规划速度提升 1.9-3.3 倍,且无需额外校准或训练即可在多个基准任务上恢复性能。

    推荐理由:原文揭示了低比特量化导致规划器崩溃的机制,并验证了无需训练的抖动策略可恢复性能。

  19. arXiv · 机器人与计算机视觉49

    物理实验室自驱动测试床对比贝叶斯与智能体优化算法

    该研究开发了一套集成商用仪器的物理测试床,实现了连续 24 小时无人值守的闭环自主实验。系统在四小时内完成六次独立任务,利用智能体优化器将匹配目标吸光度光谱所需的迭代次数较传统贝叶斯优化减少最多 52%,并成功解决后者在 48 次内未收敛的目标。该平台可作为参考基准,用于评估包括大语言模型指导在内的新兴 AI 策略,以应对真实世界中昂贵且耗时的实验部署挑战。

  20. arXiv · 机器人与计算机视觉42

    K-PWM:部分观测下的控制导向结构化双线性世界模型

    K-PWM 是一种无需单独训练推理网络的世界模型,通过扩展卡尔曼滤波在部分观测下实现概率隐状态推断与 MPPI 控制。该方法在 Gymnasium MuJoCo 系统上相比基线降低了长视界预测误差并大幅减少训练时间,在高维 Menagerie 机器人上也实现了低计算量的实时追踪精度。论文已被 NeurIPS 2026 接收,代码与权重开放许可待注册。

  21. arXiv · 机器人与计算机视觉73

    打破驾驶世界模型的幸存者偏差:一种中性世界模型方法

    arXiv 论文提出中性世界模型(NWM),通过混合常规驾驶与真实事故视频训练,利用边界框引导目标纠正现有模型因数据仅包含安全结局而产生的幸存者偏差。实验表明 NWM 能更准确预测迫近碰撞且保持低误报率,在 NAVSIM 挑战场景中辅助决策优于基线,并在零样本实验中实现向未见传感器观测的迁移。

  22. arXiv · 机器人与计算机视觉55

    CrossLiDAR:可控多传感器激光雷达序列生成

    针对高保真激光雷达仿真在结构控制与时序一致性上的瓶颈,本文提出了 CrossLiDAR 统一框架。该模型基于修正流目标与多模态扩散 Transformer 骨干,通过跨传感器交互模块和 ControlNet 风格分支支持结构条件输入(如 BEV 先验或 3D 边界框),并采用自回归方式扩展短序列以增强长时序连贯性。

  23. arXiv · 机器人与计算机视觉45

    SoftPAT3D:物理增强的文本到三维场景生成框架发布

    SoftPAT3D 框架通过物理仿真为生成的可变形物体构建静水密碰撞网格与弹性参数,解决了现有管线仅支持刚体且无法处理自相交几何的问题。在全部六十五个提示词测试中,该系统实现了零非预期穿透,并支持场景编辑与机器人操作任务。该预印本论文包含 33 页内容、13 张图示及完整代码权重开放许可。

  24. arXiv · 机器人与计算机视觉74

    ObjectWorld:基于大规模 3D 全物体流数据的世界模型

    该论文提出全物体流(3D full-object flow)表示,将稠密 3D 轨迹分配至目标物体完整表面(含遮挡区域),统一适用于刚性与柔性物体。作者构建了一个包含 1210 小时视频与物理仿真的数据集,并训练了接收图像与任务描述、预测全物体流的世界模型。实验显示该表示具有可靠的标注质量、可扩展的流预测能力,并在新型场景与机器人本体上实现了有效的下游操作。

  25. arXiv · 机器人与计算机视觉58

    面向目标条件化潜在规划的动态感知动作学习

    论文提出 Dynamics-Informed Action Learning (DIAL) 框架,旨在弥合潜在世界模型中动态学习与规划应用之间的差距。该方法在训练阶段通过 rollout alignment 让前向模型接触自回归预测的潜在状态,并利用多步逆动力学监督训练轻量级逆动力学头;测试时利用该头构建动态感知的动作序列以初始化交叉熵方法(CEM)搜索分布。

  26. arXiv · 机器人与计算机视觉45

    部署后多目标适应:关于世界模型在远程机器人团队中的立场

    针对远程非结构化环境中硬件或任务变更导致策略失效的问题,文章提出利用世界模型预测更新后的环境条件以评估现有策略,避免物理执行候选方案带来的风险。研究明确了基于模型的策略重评估、验证预测与实测性能一致性以及融合共享信息支持团队协同适应等关键优先事项。该观点旨在推动世界模型在部署后多目标适应领域的进一步调查与应用。

  27. arXiv · 机器人与计算机视觉67

    Tiresias:面向语言条件的世界模型研究

    该论文针对自然语言指令驱动的内部模拟规划任务,提出了统一的共享任务 LCWM 及包含 15 个数据集的基准 LCWM-Bench。作者引入了 Tiresias 智能体,通过选择性想象机制结合扩散策略、轨迹排序器与视频预训练世界模型实现高效规划。实验表明该方法在导航、机器人、3D 游戏和驾驶等多域任务上具有竞争力的性能,为研究语言引导的世界模型规划提供了统一评估起点。

  28. arXiv · 机器人与计算机视觉35

    LSRP*:支持异步动作的多智能体路径规划可扩展 anytime 算法

    LSRP* 是一种新型 anytime 规划器,能在获取初始解后持续优化直至预算耗尽。该算法在最多 1000 个智能体的多种地图测试中,可处理比 LSRP 多 25% 的智能体并将解成本降低最高 40%。研究针对传统同步动作假设的局限性进行了改进与验证。

  29. arXiv · 机器人与计算机视觉73

    从视频到数字孪生:野外视频的世界模型与高斯泼溅探索性研究

    该研究利用公开的新闻走场视频,验证了生成式世界模型结合 3D 高斯泼溅技术将普通影像转为度量级可探索 3D 场景的可行性。实验显示,商业世界模型在少量帧输入下能恢复相机姿态与深度并融合为约 74.7 万个高斯泼溅点,但在未观测区域外推失败且需脚本填充;本地优化的高斯泼溅虽真实但仅在拍摄路径附近有效。

  30. Hugging Face Daily Papers78

    世界模型需要多少曝光才能学会未见过的游戏机制?

    论文提出 MechEval 基准和 WARC 模型,研究世界模型在陌生环境中通过有限交互学习新机制的能力。结果显示,WARC 模型在半数情况下仅需约 80 次曝光即可达到 80% 的预测准确率,且测试时训练能将闭环探索效率从 0.15 提升至 0.46。该工作为 ARC Prize 2026 论文赛道投稿,代码与权重已开源。

    推荐理由:该研究在 ARC-AGI-3 基准上量化了世界模型学习新环境机制所需的曝光次数,并展示了测试时训练对闭环探索效率的提升。

  31. 盖世汽车 · 汽车资讯70

    百度Apollo披露全模态世界模型Apollo World

    百度Apollo在深圳AI Day首次披露智能体驱动的全模态世界模型Apollo World,提出“2+3”判断标准以支撑高安全要求的自动驾驶验证。该模型具备因果性、交互性及物理准确性等核心能力,支持行程级闭环测试与多场景按需复现,旨在降低真实路测成本并加速车端迭代。

  32. Hugging Face Daily Papers38

    多模态智能体跨场景自进化机制综述与分析

    该综述调查了多模态推理、生成、GUI/Web 导航及具身操作四种场景下,无需人工标注的自进化机制在跨场景转移时的不对称性来源。研究将自进化定义为包含经验生成、反馈获取与更新整合三阶段的循环,并分析稀缺因素组合如何限制不同方向的能力迁移。文章提出通过匹配预算测量来推翻当前未验证的结论,共 44 页含 15 张表格和 4 幅图表。

  33. Hugging Face Daily Papers72

    BirdDreams:联合视角与 BEV 视频生成的自动驾驶世界模型

    BirdDreams 是一种自动驾驶世界模型,能够联合生成视角视频和鸟瞰图(BEV)视频,将场景布局纳入预测的未来中。该模型通过两个扩散 Transformer 的联合注意力机制,在无需 HD 地图或车辆状态输入的情况下,仅凭单张相机图像即可生成更合理的自车运动及周围车辆行为。

11月9日周一
  1. arXiv · 机器人与计算机视觉72

    物理序列建模中的错误泛化机制:从分布漂移到坐标变换缓解

    该论文针对生成式序列模型在物理领域规划运动时出现的“物理错误泛化”现象(即局部误差累积导致整体物理量分布偏离预期),形式化了问题并提出了基于数据偏差核的机制解释。研究通过受控合成任务验证了该机制,并提出了一种变换生成器学习坐标系的缓解方案,以有效减少物理量的漂移。材料为 NeurIPS 2026 预印本,未涉及真实机器人部署或量产结果。

  2. arXiv · 机器人与计算机视觉35

    RiskFlow:一种快速且忠实的安全关键交通场景生成框架

    RiskFlow 提出了一种将未来行为生成为动作空间一步流传输的闭环框架,通过基于碰撞时间的关键智能体排序与对抗性交互目标直接修正输出动作。在 nuScenes 数据集上的闭环评估显示,该方法在多智能体和长视界设置下实现了强对抗性与真实性的平衡,相比基线模型在保持安全生成能力的同时显著降低了推理时间并消除了运动伪影。

  3. arXiv · 机器人与计算机视觉70

    CLAW:基于对抗正则化的连续潜在动作世界模型

    论文介绍 CLAW,这是一个端到端的自监督框架,能从无动作标注的视频中联合学习世界模型与连续潜在动作表示。方法利用对抗性潜在正则化防止潜在变量编码未来观测,使其捕捉动作结构;扩散式世界模型将环境动态建模为未来观测的分布而非确定性 rollout。

  4. arXiv · 机器人与计算机视觉70

    RigidFormer:利用 Transformer 学习无网格刚体动力学

    论文介绍 RigidFormer,一种面向物体的 Transformer 模型,用于从点云等无网格表示中学习高保真刚体动力学。该方法通过锚点顶点池化保留接触相关几何信息,利用基于锚点的旋转位置编码处理无序物体布局,并通过可微 Kabsch 对齐强制刚性约束。