跳到正文
10月20日周二
  1. arXiv · 机器人与计算机视觉54

    Think Densely, Act Sparsely:用于视觉语言动作自动驾驶的潜空间专家认知链

    针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。

  2. arXiv · 机器人与计算机视觉74

    SWAP:一种支持测试时引导的人形全身避障策略

    论文提出 SWAP 分层框架,将感知条件扩散模型用于生成多模态避障运动提议,低层强化学习控制器负责跟踪与平衡维持。利用回溯标注技术通过随机化命令和障碍布置实现高效监督,部署时采用蒙特卡洛采样引导模型向安全行为对齐。在仿真及宇树 G1 真机实验中,该方法在静态与动态障碍物下均表现可靠,测试时引导使特定奖励提升约 34% 同时保持高避障率。

  3. arXiv · 机器人与计算机视觉48

    FluidGen:通过运动引导后训练实现物理感知的流体视频生成

    FluidGen 模型在预训练视频模型中注入数据驱动的流体先验,利用双流架构预测帧级速度场以修正烟雾、火焰等流体现象的物理一致性。该方法结合 Houdini 仿真真值与真实世界流体视频数据进行混合训练,显著优于强基线及优化方法,解决了传统求解器难以处理野外影像的难题。项目页面已公开,相关代码与权重许可状态待进一步确认。

  4. arXiv · 机器人与计算机视觉72

    Clean Forcing:基于冻结基座的抗漂移自回归视频扩散方法

    该文提出 Clean Forcing 方法,利用冻结的预训练视频扩散模型作为基座,通过训练一个仅含 590 万参数的 LoRA 校正器来补偿自回归生成中的确定性漂移误差。该方法无需真实视频数据即可在文本到视频的 50 秒生成任务中,将Δ-漂移从+11.3显著降低至+1.65(无真数)或-0.16(使用少量真数),且推理成本不增加。

  5. arXiv · 机器人与计算机视觉78

    向量量化世界模型:面向机器人操作的潜在反馈运动规划

    针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。

    推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。

  6. arXiv · 机器人与计算机视觉58

    自结晶行为树:将基础模型推理摊销为自主无人机的确定性控制

    论文提出自结晶行为树(SCBT)框架,将大模型作为编译器而非运行时组件,通过上下文多臂老虎机、CMA-ES 调优及三阶段准入管道筛选补丁。在 Project AirSim 仿真中,该方法在遭遇风切变和电池故障时,仅用约 11 次 LLM 调用即可将任务成功率从 12% 提升至 97%,最终固化为无需学习的确定性行为树。

  7. arXiv · 机器人与计算机视觉43

    UniState:统一记忆与干预的可控世界仿真框架

    UniState 提出一种基于统一世界状态表示的框架,将空间记忆与用户干预融合,支持直接指定物体运动并独立选择相机轨迹。该方法无需规定所有后续动作即可合成合理交互,实验显示其在联合控制物体与相机方面优于现有方法,且干预引发的场景变化在多次 rollout 中持续存在。

  8. arXiv · 机器人与计算机视觉58

    Holo4D:基于几何控制的全景4D重建视频重拍框架

    论文介绍 Holo4D 框架,利用重建的3D轨迹作为整体源视图4D骨架,将其投影到请求视角并编码几何与外观以引导预训练的视频扩散模型。该方法在保留观测场景几何与运动的同时完成新可见区域,实验验证了基于轨迹的条件控制对新视角合成的价值。该工作无需重训练视频生成器即可适配不同的4D重建器,支持未来源重建技术的进步。材料为 NeurIPS 2026 录用论文,预印本链接已提供。

  9. arXiv · 机器人与计算机视觉85

    目标图像即控制目标:用于机器人操作的基于空间的 grounded 目标图像合成研究

    该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。

    推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。

  10. arXiv · 机器人与计算机视觉37

    SpriteStage:通过渐进式场景编程与重放实现长时段动画生成

    SpriteStage 框架利用迭代演绎和引擎重组,从已接受的世界检查点构建动画并基于运行时反馈修正剧情。该方法生成了三部时长约 9.9 至 14.3 分钟的完整动画,验证了其在长叙事生成中的有效性。相关代码与论文预印本已在 arXiv 公开(arXiv:2610.24869)。

  11. arXiv · 机器人与计算机视觉82

    从视图到世界:面向视觉语言模型的 3D 世界主动探索框架

    针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。

    推荐理由:提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。

  12. arXiv · 机器人与计算机视觉58

    BodyBridge:面向弱势道路使用者的 grounded body layers 实现仿真到现实的迁移

    arXiv 论文 BodyBridge 针对仿真视频中行人和骑行者(VRU)缺乏姿态与身份细节的问题,提出一种结合场景几何、像素级身体对应及精确 VRU 掩码的表示方法。该方法在 CARLA 到真实视频的翻译任务中,将近距离 [email protected] 提升 22%,并将身体翻转错误减少 18%。所有代码、数据与模型检查点将公开以支持可复现研究。

  13. arXiv · 机器人与计算机视觉58

    PACE-Mem:面向多模态智能体的前缀感知互补证据方法

    针对多模态智能体长期记忆中存在重复观测且固定检索深度难以平衡信息量的问题,论文提出 PACE-Mem 方法。该方法构建互补证据序列并基于同一选择轨迹确定长度;对结构化记忆采用查询引导池化计算相关性得分与表征,利用最大边际相关(MMR)在查询相关性与重叠度间取得平衡,并通过比较归一化后的相邻下降值确定检索深度。

  14. arXiv · 机器人与计算机视觉78

    预训练特征作为教师而非状态:用于视觉规划的紧凑潜在世界模型

    论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。

    推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。

  15. arXiv · 机器人与计算机视觉85

    Time-JEPA:利用物理时间序列锚定视频世界模型

    论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。

    推荐理由:该工作提出用低维时序物理量辅助监督视频世界模型,在自动驾驶、操作与人体运动等多域任务上提升状态解码与未来预测能力。

  16. arXiv · 机器人与计算机视觉75

    IMPULSE:在 V-JEPA 2 特征空间先推后测的物理感知方法

    论文 IMPULSE 提出一种在冻结的 V-JEPA 2 视频编码器特征空间中进行物理感知的预测器。该方法通过三次短校准推探获取物体响应,利用贝叶斯接触记忆总结信息,并结合轻量级随机傅里叶变换姿态头将预测姿态输入预测器。实验显示,在预指定的保留对象集上,该方法相比无经验的基准模型将 1 秒特征预测误差降低了 11.6% 至 12.8%,且该增益对超出范围物理属性的对象同样有效。

  17. arXiv · 机器人与计算机视觉59

    UMI-WM:基于手腕相机的双手操作交互式世界建模

    arXiv 论文介绍 UMI-WM,这是一个动作条件的双手世界模型,能联合生成两个手腕视角的视频并保持跨视图一致性与视觉保真度。模型将每只手臂的动作注入其手腕流,利用稀疏枢纽令牌交换场景信息,并结合相机感知几何条件与引导噪声支持运动控制。

  18. arXiv · 机器人与计算机视觉73

    Language-Forcing:通过全身世界动作模型的语义对齐推进人形机器人移动与操作

    针对全身世界动作模型(WAM)视觉预测目标未区分任务相关变化与场景 incidental 变化的问题,提出LANGUAGE-FORCING训练策略。该方法利用冻结的视觉语言模型评估任务进度并预测后续状态变化,将其嵌入与中间动作条件化的未来视觉特征对齐,仅用于训练且不增加推理开销。

  19. arXiv · 机器人与计算机视觉73

    EvoAD:基于潜在世界模型引导的事后反思实现自动驾驶自进化

    论文提出了 EvoAD 框架,旨在解决端到端自动驾驶系统部署后无法像人类一样通过经验持续进化的问题。该系统将驾驶体验存储于鸟瞰图特征记忆池中,依据几何与语义相似度检索相关先例,并利用潜在世界模型在紧凑的规划空间中评估候选轨迹的未来后果。

  20. arXiv · 机器人与计算机视觉82

    从似然到效用:面向端到端自动驾驶的质量轴扩散

    论文提出 QualiDrive 方法,将端到端自动驾驶中的轨迹生成沿驾驶质量轴而非高斯噪声轴进行扩散。该方法通过构建场景特定的质量阶梯,根据测得的驾驶效应对观测到的轨迹排序,并学习通过有序的低质到高质细化来逆转这种退化。

    推荐理由:提出沿驾驶质量轴进行扩散的 QualiDrive 方法,在 NAVSIM 上实现 SOTA EPDMS 并显著提升高分候选比例。

  21. arXiv · 机器人与计算机视觉74

    学习轮式四足机器人的全身动能协调以实现长距离投掷

    针对非结构化地面上的远距离投掷任务,本文提出一种结合动力学链手臂建模、SQP 轨迹优化与参考引导强化学习的全身协调框架。在固定基座上,优化后的臂部轨迹释放速度达 12.75 m/s,投掷距离为 16.68 m;启用全身协调后,释放速度提升至 16.64 m/s,投掷距离增至 28.25 m。研究通过硬件实验验证了该策略在平地、草地、斜坡和粗糙路面等多样地形下的鲁棒性。

  22. Hugging Face Daily Papers70

    ScaleNav:面向语言条件局部导航的可扩展互联网视频预训练

    论文提出了 ScaleNav 统一的世界 - 动作框架,旨在解决端到端导航策略需要多样化数据且真实数据采集成本高、仿真存在差距的问题。该方法首先利用互联网第一人称视频进行指令条件视频预训练以学习观察随相机接近目标而演变的视觉动态;随后使用带标签的仿真数据进行动作对齐以预测可执行的动作片段;最后通过联合微调优化所有可训练组件。

  23. Hugging Face Daily Papers48

    AnyGoal:世界模型在专家轨迹组合外的泛化基准与开源库

    AnyGoal 是一个基于常用环境构建的目标偏移任务基准及开源库,旨在评估世界模型重组熟悉状态动作因子以产生有效动力学的能力。研究发现当前模型在这些未充分覆盖的组合下普遍失效,揭示了数据覆盖率、动力学泛化与下游规划性能间的关系。该框架为评估迈向能泛化至新规划任务的世界模型提供了基础分析依据。

  24. Hugging Face Daily Papers78

    TokenWorth:资源约束下的记忆价值学习方法

    针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。

    推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。

  25. Hugging Face Daily Papers85

    Fréchet Forcing:基于短片段训练长视界流式世界模型

    论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。

    推荐理由:提出无需教师模型的 Fréchet Forcing 方法,通过流匹配与统计约束解决长序列生成漂移问题。

  26. 量子位62

    AI 生命科学进入基础设施竞争:从单点分子走向生命世界模型

    2026 年 AI 赛道出现向生命系统转向的趋势,Biohub 联合多方投入 18 亿美元搭建虚拟生物学计划,国内计算医学也被纳入国家规划。文章分析指出,新药研发难点在于理解完整生命系统的动态演化,因此行业正从单点分子模型转向构建能预测干预后果的“生命世界模型”。

  27. 量子位42

    2026 物理 AI 与世界模型大会医疗健康世界模型分会场在南京举行

    2026 年 10 月 19 日下午,聚焦疾病状态演变与干预响应推演的医疗世界模型分会场在南京国际博览中心钟山厅举行。活动发布“医疗世界模型高质量数据集联合建设计划”及五项慢病世界模型(含胰岛素抵抗、糖尿病用药等),并推出融合国产设备的“医疗健康世界模型一体机”。相关成果强调需在真实场景中持续检验可靠性,不能以模型模拟替代医生诊疗决策。

  28. 智东西 · 机器人84

    Ropedia W0 跨本体移动操作世界模型发布,五大评测领先英伟达 Cosmos 3

    新加坡具身创企 Ropedia 联合南洋理工大学等机构发布了跨本体移动操作世界模型 Ropedia W0。该模型基于视频扩散架构,通过统一的动作表示(相机运动与投影骨架)实现人类、机械臂及人形机器人间的预测能力迁移。

    推荐理由:该团队构建的跨本体世界模型在五大评测基准中均排名第一,且未经后训练即可超越全量数据训练的竞品,展示了显著的少样本优势。

  29. Hugging Face Daily Papers73

    Scaling in Games:具身智能体在多样化虚拟世界中的持续预训练缩放研究

    论文研究了数据量、多样性和模型容量如何影响具身智能体在不同视觉风格和物理动力学下的虚拟世界表现。实验覆盖 0.8B 至 27B 的四种模型规模及多种数据混合策略,结果显示更多数据提升同域性能,多样性有助于迁移到相关世界但远距离世界增益有限;存在早期界面阶段和后期世界阶段的转变规律,且模型在实时设置下表现最佳,但仍需更丰富的训练阶段以构建通用智能体。

10月19日周一
  1. arXiv · 机器人与计算机视觉72

    Metro-WM:基于可执行子目标的长视界潜在规划方法

    论文指出当前宏规划器常生成物理上不可实现的潜变量子目标,为此提出 Metro-WM 框架。该方法通过从离线专家演示或随机轨迹中检索真实观测帧构建图结构来连接不同集体验证的路径,而非生成无依据的潜向量。实验显示,Metro-WM 在长视界任务上的成功率最高提升 37.33 个百分点,速度快 10.9 倍,且所需离线计算量减少 13-56 倍,同时具备更强的执行误差鲁棒性。

  2. arXiv · 机器人与计算机视觉72

    WorldOracle:针对动作条件世界模型的现实执行评测基准

    论文介绍 WorldOracle 基准,专门用于评估动作条件世界模型(ACWMs)在相同初始观测和低层动作序列下对真实世界执行的预测能力。该基准涵盖物理后果和任务状态转换的复现情况,并从物理状态正确性、交互空间对齐、关键交互区域保真度及多视角动作一致性四个维度进行评测。

  3. arXiv · 机器人与计算机视觉82

    Perceptive Behavior Foundation Model:一种将人类运动先验适配至机器人中心地形的感知行为基础模型

    该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。

    推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。