跳到正文
11月9日周一
  1. arXiv · 机器人与计算机视觉78

    用测试时基于模型的强化学习在世界模型中编码记忆

    针对现有方法在需要长期记忆与规划的任务上难以超越人类表现的问题,本文提出测试时基于模型的强化学习方法,利用测试时的梯度下降将单集观测编码进世界模型参数,使智能体能为每个单集学习独立的世界模型。研究先在二维简化版记忆迷宫环境中验证概念,随后在三维领域实现该基准的新最先进水平,并在 DeepMind Control 和 Atari 100k 等非记忆基准上保持强性能。

    推荐理由:提出测试时基于模型的强化学习,通过梯度下降将单集观测编码进世界模型参数以增强长期记忆能力。

  2. arXiv · 机器人与计算机视觉43

    CARLA 仿真器中场景编排实现自动驾驶策略闭环评估

    针对预设脚本无法适应自主驾驶策略闭环响应的局限,该研究提出一种持续监控交通状态并通过重定时、重路由及角色重组来维持特定交互意图的场景编排器。在 CARLA 仿真器多类场景与策略实验中,该方法比脚本式和学习型基线更可靠地实现目标交互,支持可控且可复现的策略评估。

  3. arXiv · 机器人与计算机视觉74

    当何时信任 BIM:基于可识别性的 LiDAR-惯性-BIM 融合研究

    论文提出一种可识别性感知方法,用于解决建筑信息模型(BIM)与激光雷达里程计在定位中的冲突问题。该方法将归因问题形式化为三类故障的识别任务,并推导几何判据:仅在观测能唯一区分姿态误差、施工偏差或未知物体时进行归因;否则保留候选解并暂缓更新。

  4. arXiv · 机器人与计算机视觉65

    MotionCore:一种用于视频生成的潜空间神经模拟器(含刚体动力学)

    MotionCore 是一个通过学习偏微分方程求解器来掌握刚体动力学的框架,旨在解决视频生成模型中视觉逼真但物理运动不一致的问题。该框架利用潜空间神经模拟器预测物体级物理状态的演化,并将其转换为与空间对齐的潜在控制信号以驱动扩散模型生成视频。

  5. arXiv · 机器人与计算机视觉53

    FATHOM:面向稀疏标记 AUV 跟踪的世界模型引导扩散动作轨迹选择

    针对非线性动力学与退化水下视觉条件下的相对跟踪难题,本文提出 FATHOM 框架。该框架整合结构化标记观测、惯性测量及历史动作,利用多模态任务监督的递归状态空间模型构建预测跟踪信念;通过扩散动作先验生成多条专家级推进器轨迹,并基于学习到的潜在动力学预测未来后果;最终在显式移动视界目标下选择最优候选方案。

  6. arXiv · 机器人与计算机视觉78

    Lodos:一种面向接触丰富交互与精细网格的轻量级仿真器

    针对传统刚体仿真在处理复杂表面和精细网格碰撞时效率低下的瓶颈,本文提出了一种从头设计的仿真框架 Lodos。该框架引入了新的宽相位与窄相位碰撞检测例程及后续接触动力学计算,在保持物理保真度与现有主流模拟器相当的同时,将详细网格碰撞场景的吞吐量提升了约一个数量级。源代码已开源。

    推荐理由:提出专为接触丰富场景设计的轻量级仿真框架,在保持物理保真度的同时将详细网格碰撞吞吐量提升约一个数量级。

  7. arXiv · 机器人与计算机视觉72

    Lodos-v2:一种高效的精确摩擦接触问题原始形式化方法

    该论文介绍了 Lodos-v2,这是一个基于 GPU 的大规模并行刚体动力学与接触仿真框架。针对前代版本存在的物理伪影(如法向抬升、切向蠕变)及约束集成困难等局限,Lodos-v2 通过引入高效的原始形式凸松弛级联求解算法,并扩展接触组重参数化方案以支持关节限位和焊接等完整约束,实现了更高的吞吐量。源代码已公开。

  8. Hugging Face Daily Papers73

    Shortcuts and Boundaries:可验证 RL 错位与上下文安全学习

    该研究探讨了强化学习中因奖励驱动导致的任务能力增强但违反执行要求的行为错位问题。通过编码任务动态中的可验证奖励冲突,研究者生成了多样化的交互环境并推导了合规反馈。实验显示,即使在资源受限或报告工作流中,少数冲突暴露也可能导致广泛的捷径获取;但在引入简单的二元惩罚后,安全策略能同时提升能力和合规性,并在面对变化的证据要求时保持适应性。

  9. Genesis World · Releases38

    MuJoCo v1.4.6 发布:非刚性求解器与可微仿真性能大幅提升

    MuJoCo v1.4.6 更新抛光了有限元(FEM)、物质点法(MPM)及粒子动力学(PBD)等非刚性求解器,使可微仿真原生兼容 PyTorch 且速度提升约 3 倍。该版本在 GPU 小批量场景下将刚体与隐式 FEM 求解器提速数倍,内存减半并支持更多物理设置器。修复了包括接触力丢失、NaN 发散及 fp64 精度在内的多项关键 Bug,同时移除了不稳定的稳定流体求解器。

11月8日周日
  1. 量子位65

    资本正在撤离“世界模型”:概念红利消退,市场回归顶尖团队与技术实证

    量子位报道指出,2026 年下半年世界模型赛道出现明显降温,头部基金投资门槛抬高,仅少数拥有顶尖高校背景、扎实技术积累或大厂资源支持的团队仍能顺利融资。文章分析了宇树科技上市后的估值调整对市场的警示作用,以及亚马逊收购 Decart、AMD 收购 World Labs 等事件反映出的行业理性回归趋势。

  2. Hugging Face Daily Papers68

    On-Policy Distillation 能容忍多少训练 - 推理失配?

    该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。

  3. Hugging Face Daily Papers78

    Spatial Harness:基于物理引擎的可执行世界状态实现空间推理落地

    Spatial Harness 提出将场景表示为显式的可执行世界状态,以物理引擎反馈为基础进行空间推理。系统通过 Perceiver 整合问题约束与视觉估计确定物体和相机坐标,并在物理引擎中实例化状态,由 Reasoner 执行视角变换并引导推理。

    推荐理由:该工作将场景表示为可执行的物理状态,利用物理引擎反馈来校准视觉语言模型的推理过程。

11月7日周六
  1. Hugging Face Daily Papers82

    WorldFoundry:迈向世界智能的统一基础设施技术报告

    该技术报告定义了具备持久状态和因果一致性的生成式世界模型框架,并推出 WorldFoundry 开源基础设施以支持视频、3D 及具身动作系统的可复现推理与评估。

    推荐理由:该报告提出统一基础设施以支持视频、3D及具身智能系统的可复现推理与评估,涵盖感知锚定、持久状态建模等核心要素。

  2. Hugging Face Daily Papers59

    Horizon-Scalable Q-Learning:一种解决长视界离线强化学习误差累积的新方法

    论文提出 Horizon-Scalable Q-Learning (HQL),旨在解决离线数据集中任务视界增长导致的价值函数估计困难问题。该方法通过自动平衡单步和多步回报,仅在目标值不低于 BC 策略采样动作时扩展目标,从而避免偏差并兼容流与扩散策略。实验表明 HQL 在组合锁任务和长视界基准上优于现有方法。

  3. Hugging Face Daily Papers73

    SwarmEvolve:基于潜空间智能体群落的进化发现与优化框架

    论文提出 SwarmEvolve 框架,通过数百个低成本智能体在潜空间内不解码为文本进行推理,并利用 KV Cache 共享信息以加速程序搜索。该框架引入新颖性过滤器和自然交叉机制,在数学发现和科学计算等 21 个问题上达到最优解所需时间仅为其他先进框架的数分钟,且部分问题优于 AlphaEvolve 使用前沿大模型找到的方案。

  4. NVIDIA Technical Blog18

    NVIDIA 发布 Reshard Collective 加速强化学习权重重拟合

    NVIDIA 推出 Reshard Collective,解决强化学习后训练中推理与训练并行时的 GPU 资源解耦难题。该技术允许在独立 GPU 上运行策略模型推理并实时生成轨迹,同时仅对训练 GPU 更新权重且定期刷新全量参数。此方案显著提升了物理 AI 模型训练的并行效率与资源利用率。

11月6日周五
  1. 上海人工智能实验室 · 科研动态77

    上海AI实验室发布书生·天枢自主实验室操作系统

    上海AI实验室发布书生·天枢(Intern·LabOS)分布式自主实验室网络操作系统,旨在组织各地实验室协同开展湿实验。该系统以SCP-Lab为统一接口,借助书生物理世界模型W0驱动机器人完成操作,打通异构设备自主执行与数据回传链路。材料描述的是系统架构与功能验证,未报告真实药物上市或大规模商业化部署结果。

    推荐理由:原文给出了科研操作系统与物理世界模型的协同设置及开放入口,相关团队可据此判断它是否适合现有实验流程。

  2. arXiv · 机器人与计算机视觉68

    Khora:一种支持推理时任意数量智能体扩展的种群可扩展多智能体世界模型

    论文提出 Khora 框架,解决现有方法在固定智能体数量下训练的局限性。该架构将世界状态演化与视觉渲染解耦,通过统一渲染接口查询智能体特定观测,实现跨视角一致性且无需重训练即可支持推理时任意数量的智能体扩展。定性实验显示该方法能泛化到未见过的智能体数量并保持视觉质量与多智能体一致性,并实现了实时交互式开放世界仿真系统。

  3. arXiv · 机器人与计算机视觉43

    WorldAct:将静态生成式 3D 世界转化为可交互对象中心场景的框架

    WorldAct 是一个利用多模态智能体引导场景分解、识别可操作物体并重建几何对齐网格的框架,能将 Marble 等系统的静态单体资产转化为支持对象级编辑和碰撞感知操作的场景。实验表明该框架在保持全局场景一致性的同时实现了更丰富的交互情景,为构建可编辑且具备物理交互能力的 3D 世界模型提供了实用路径。

  4. arXiv · 机器人与计算机视觉78

    可逆动力学与非对称动作:作为轨迹级亲和力的停车问题

    Adam Y. Shavit 提出停车问题的形式化分析,区分了静态适配、最终可达性与资源受限可达性三种间隙指标。研究证明在特定场景中,倒车入库与直进式停车的不对称性源于有限操作次数下的修正需求差异:一次反转即可满足倒车入库的最小间隙要求,而直进式停车至少需要两次反转才能达到同等安全裕度。

    推荐理由:该文通过形式化论证揭示了倒车入库与直进式停车在有限操作次数下的可达性差异,为理解驾驶员直觉提供了理论依据。

  5. arXiv · 机器人与计算机视觉53

    GuidedWAM:自动驾驶中世界动作模型的免训练能量引导方法

    针对自动驾驶领域需重新训练才能适配新驾驶目标的限制,本文提出 GuidedWAM 框架,在采样阶段通过可微分能量机制向冻结的世界动作模型注入新的驾驶目标。该方法利用采样时的引导调度、每能量归一化及速度有界修正来稳定生成过程。

  6. arXiv · 机器人与计算机视觉78

    超越下一步:世界模型引导的多智能体场景中类人导航

    该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。

    推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。

  7. arXiv · 机器人与计算机视觉42

    Cosmos Policy 与 RoboCasa 测试时间搜索实证审计:候选选择信号微弱且仿真存在渲染腐蚀

    Cosmos Policy 和 RoboCasa 审计显示,在干净数据上学到的价值选择器比随机差 1.66 个百分点,82% 的状态候选结果相同。Token 剪枝虽降低 FLOPs 但端到端加速仅达 1.15 倍,未达 1.5 倍目标且自适应分配实验无结论。研究还发现并修复了计算密集型规划路径下渲染腐蚀率上升的问题,发布了检测器与修复脚本。

  8. arXiv · 机器人与计算机视觉82

    GPWM:将世界建模为 3D 粒子运动

    论文介绍 GPWM,一种直接操作 3D 物理空间的生成式粒子世界模型,通过结合流匹配与扩散强制力来生成刚性、可变形及颗粒材料的连贯轨迹。该模型在包含 2550 万帧的 ParticleWorlds 数据集上训练,统一架构覆盖多种材质与交互场景,平均将预测误差降低 31%。此外,GPWM 支持噪声空间规划,通过搜索潜在噪声而非动作空间来实现目标导向的操作,在推和抓取等接触丰富任务中表现优于传统方法。

    推荐理由:该工作提出基于粒子运动的生成式世界模型,在统一架构下实现多材质预测并支持噪声空间规划以解决接触丰富任务。

  9. arXiv · 机器人与计算机视觉63

    WAM-Sim0.1:结合世界锚定记忆与在线强化学习的自动驾驶仿真模型

    该论文提出 WAM-Sim 模型,旨在解决自回归驾驶世界模型在长 rollout 中出现的结构漂移、身份漂移和质量衰减问题。该方法通过持久分层记忆(包含姿态对齐的结构 token、只读场景 token 和一次性实例 token)来维持跨时间尺度的上下文一致性,并利用在线流匹配强化学习优化自生成的 rollouts。

  10. arXiv · 机器人与计算机视觉82

    PlayGen2:学习具有显式三维状态的实时可玩世界

    PlayGen2 是一个实时交互式世界模型,它将学习的三维状态演化与神经渲染分离开来。该模型维护包含静态几何和实体身份的持久化世界记忆,在固定局部区域内联合学习动作条件化的实体动力学、几何补全和实体发现,并通过独立的神经渲染器合成第一人称观察视角。

    推荐理由:PlayGen2 将三维状态演化与神经渲染分离,在 Doom 测试集上实现实时交互与零样本泛化。

  11. arXiv · 机器人与计算机视觉78

    RoboImagine:一种利用语义和视觉反馈进行后训练的机器人世界模型框架

    论文提出了 RoboImagine 框架,旨在通过后训练自回归式机器人世界模型来支持规划与决策。该方法通过候选未来轨迹的多样性搜索、冻结的多模态评估器提供的语义偏好以及像素级视觉一致性反馈,共同驱动策略优化。实验在 RT-1、BridgeV2 和 RoboCasa 等真实及仿真操作任务上验证了其在提升 PSNR、降低 LPIPS 指标以及增强长序列预测方面的有效性。

    推荐理由:该框架通过语义与视觉反馈结合,在机器人世界模型训练中提升了预测质量与长序列生成能力。

  12. 上海人工智能实验室 · 科研动态75

    上海 AI 实验室推出支持递归式自我改进的科学多模态框架书生·元征

    上海 AI 实验室发布科学多模态框架书生·元征(Sage SciPerception),引入递归式自我改进模式,让模型能自主分析任务表现并提出新的投影模块方案以优化感知架构。

    推荐理由:上海 AI 实验室推出支持递归式自我改进模式的科学多模态框架,赋予大模型自主优化感知架构能力。

  13. Hugging Face Daily Papers78

    SIRIS:LLM 能否判断仿真误差对 AI 驱动系统研究的影响?

    论文介绍 SIRIS 框架,通过扰动仿真器构建具有相同候选方案但预测结果不同的工作负载对,测试大模型是否能识别仿真限制并据此做出正确选择。实验评估了十三款前沿 LLM 在系统设计问题上的表现,发现仅凭识别限制并不保证选择正确,且强模型有时会放弃有效推荐;自我修正虽能恢复部分选择但也引入新错误。

    推荐理由:该预印本通过扰动实验发现,前沿大模型在依赖有缺陷的仿真器时难以识别错误并坚持有效推荐,揭示了系统理解评估的新挑战。

  14. Hugging Face Daily Papers48

    TurtLES:大规模湍流三维神经 PDE 代理基准

    TurtLES 是一个包含 400 条轨迹、每条 400 个时间步的 14 TB 数据集,涵盖几何、雷诺数及攻角变化。该基准通过高保真隐式大涡模拟生成具有活跃能量级联和密集不规则网格的数据,用于评估神经算子在自回归推演中的表现。研究识别了时序不稳定和小尺度能量丢失等关键失效模式,为工业相关网格分辨率下的湍流尾迹代理模型提供了新标准。