Think Densely, Act Sparsely:用于视觉语言动作自动驾驶的潜空间专家认知链
针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。
针对现有视觉语言动作(VLA)模型因稀疏监督导致关键场景信息被压缩的问题,本文提出“密集思考、稀疏行动”的新范式及 LECDrive 框架。该框架通过注入任务特定的潜变量令牌,将基础视觉模型的视觉表征、语义结构与空间几何知识内化为层级化的专家认知链,并遵循课程学习原则逐步结构化监督。实验表明,该方法在多个自动驾驶基准测试中提升了基座视觉语言模型在物体感知、状态预测和轨迹规划等关键任务上的性能。
论文提出 SWAP 分层框架,将感知条件扩散模型用于生成多模态避障运动提议,低层强化学习控制器负责跟踪与平衡维持。利用回溯标注技术通过随机化命令和障碍布置实现高效监督,部署时采用蒙特卡洛采样引导模型向安全行为对齐。在仿真及宇树 G1 真机实验中,该方法在静态与动态障碍物下均表现可靠,测试时引导使特定奖励提升约 34% 同时保持高避障率。
FluidGen 模型在预训练视频模型中注入数据驱动的流体先验,利用双流架构预测帧级速度场以修正烟雾、火焰等流体现象的物理一致性。该方法结合 Houdini 仿真真值与真实世界流体视频数据进行混合训练,显著优于强基线及优化方法,解决了传统求解器难以处理野外影像的难题。项目页面已公开,相关代码与权重许可状态待进一步确认。
该文提出 Clean Forcing 方法,利用冻结的预训练视频扩散模型作为基座,通过训练一个仅含 590 万参数的 LoRA 校正器来补偿自回归生成中的确定性漂移误差。该方法无需真实视频数据即可在文本到视频的 50 秒生成任务中,将Δ-漂移从+11.3显著降低至+1.65(无真数)或-0.16(使用少量真数),且推理成本不增加。
针对长序列操作因累积误差和搜索复杂度高的难题,本文提出向量量化世界模型(VQ-WM),将离散长程搜索与连续视觉反馈控制相结合。该方法利用首达时间估计器作为准度量以对齐控制器能力,在汉诺塔物理操作中仅凭短轨迹数据即实现 100% 成功率,并能泛化执行训练集未见的长序列解法;同时在涵盖操作与移动的多项仿真基准上,性能优于最强世界模型。
推荐理由:提出结合离散长程搜索与连续视觉反馈的潜在反馈运动规划框架,在汉诺塔任务中实现仅用短轨迹数据即达 100% 成功率。
论文提出自结晶行为树(SCBT)框架,将大模型作为编译器而非运行时组件,通过上下文多臂老虎机、CMA-ES 调优及三阶段准入管道筛选补丁。在 Project AirSim 仿真中,该方法在遭遇风切变和电池故障时,仅用约 11 次 LLM 调用即可将任务成功率从 12% 提升至 97%,最终固化为无需学习的确定性行为树。
arXiv 发布论文 SurGPT,提出一种结合视觉编码器与 Transformer 架构的基础模型,旨在自动分析 da Vinci 机器人手术视频以进行技能评估和手势理解。
UniState 提出一种基于统一世界状态表示的框架,将空间记忆与用户干预融合,支持直接指定物体运动并独立选择相机轨迹。该方法无需规定所有后续动作即可合成合理交互,实验显示其在联合控制物体与相机方面优于现有方法,且干预引发的场景变化在多次 rollout 中持续存在。
论文介绍 Holo4D 框架,利用重建的3D轨迹作为整体源视图4D骨架,将其投影到请求视角并编码几何与外观以引导预训练的视频扩散模型。该方法在保留观测场景几何与运动的同时完成新可见区域,实验验证了基于轨迹的条件控制对新视角合成的价值。该工作无需重训练视频生成器即可适配不同的4D重建器,支持未来源重建技术的进步。材料为 NeurIPS 2026 录用论文,预印本链接已提供。
针对自动驾驶仿真中跨轨迹视频生成的挑战,该研究提出了 GeoV2V,一种结合 LiDAR 和深度几何先验的视频到视频扩散框架,在 Wan 2.1 骨干网络上实现时序一致的新视角合成。
该研究指出通用图像编辑指标无法预测机器人操作的成功率,在 CALVIN 和 SIMPLER-Bridge 基准上验证了大型专有编辑器在多步任务中表现不如小型微调开源模型。
推荐理由:论文证明编辑画质与机器人控制成功率无关,提出基于空间掩码的 SGE-Goal 框架将开源基座模型转化为最强目标生成器。
SpriteStage 框架利用迭代演绎和引擎重组,从已接受的世界检查点构建动画并基于运行时反馈修正剧情。该方法生成了三部时长约 9.9 至 14.3 分钟的完整动画,验证了其在长叙事生成中的有效性。相关代码与论文预印本已在 arXiv 公开(arXiv:2610.24869)。
针对现有视觉语言模型在三维空间推理中受限于被动视角的问题,本文提出 View-to-World (V2W) 框架。该框架通过重建包含几何、相机姿态和语义的显式 3D 世界,使 VLM 能通过多轮交互主动获取空间证据进行推理。实验表明,该方法在不需训练的情况下显著优于基线,且经强化学习优化探索策略后达到最先进水平。
推荐理由:提出无需训练的主动探索框架,将 VLM 从被动感知升级为基于 3D 世界的主动推理。
arXiv 论文 BodyBridge 针对仿真视频中行人和骑行者(VRU)缺乏姿态与身份细节的问题,提出一种结合场景几何、像素级身体对应及精确 VRU 掩码的表示方法。该方法在 CARLA 到真实视频的翻译任务中,将近距离 [email protected] 提升 22%,并将身体翻转错误减少 18%。所有代码、数据与模型检查点将公开以支持可复现研究。
针对多模态智能体长期记忆中存在重复观测且固定检索深度难以平衡信息量的问题,论文提出 PACE-Mem 方法。该方法构建互补证据序列并基于同一选择轨迹确定长度;对结构化记忆采用查询引导池化计算相关性得分与表征,利用最大边际相关(MMR)在查询相关性与重叠度间取得平衡,并通过比较归一化后的相邻下降值确定检索深度。
ACTS 是一个仅需人类操作 GelSight 传感器数据训练的视觉触觉世界模型,构建了包含 4.9 小时双手动作的 React 数据集。在无需微调的机器人遥操作测试中,该模型成功将接触动力学从人类转移至机器人,且触觉印记预测表现优于纯视觉外观转移。
论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。
推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。
论文 Time-JEPA 针对视频世界模型缺乏物理状态演化信息的不足,提出用低维时序对齐的物理量作为辅助监督信号进行微调。该方法在自动驾驶、机器人操作和人体运动等多个领域均提升了当前状态解码、多步未来预测及运动学重建性能,且在跨条件与变量分布偏移下表现更稳健。外部评估显示其能增强对物理异常及交互的敏感度,且方法可迁移至不同视频骨干网络。
推荐理由:该工作提出用低维时序物理量辅助监督视频世界模型,在自动驾驶、操作与人体运动等多域任务上提升状态解码与未来预测能力。
论文 IMPULSE 提出一种在冻结的 V-JEPA 2 视频编码器特征空间中进行物理感知的预测器。该方法通过三次短校准推探获取物体响应,利用贝叶斯接触记忆总结信息,并结合轻量级随机傅里叶变换姿态头将预测姿态输入预测器。实验显示,在预指定的保留对象集上,该方法相比无经验的基准模型将 1 秒特征预测误差降低了 11.6% 至 12.8%,且该增益对超出范围物理属性的对象同样有效。
arXiv 论文介绍 UMI-WM,这是一个动作条件的双手世界模型,能联合生成两个手腕视角的视频并保持跨视图一致性与视觉保真度。模型将每只手臂的动作注入其手腕流,利用稀疏枢纽令牌交换场景信息,并结合相机感知几何条件与引导噪声支持运动控制。
论文介绍 EgoVine 框架,将固定演示集转化为交互式体验以提升长程规划能力。该方法在由真实视频注释编译的可执行符号环境中运行,要求智能体在部分观测下协调物体操作并应对延迟后果。
该论文提出了 InJePA,一种以意图为优先的潜在规划范式,旨在解决视觉导航中环境动态预测的问题。方法利用目标条件化的 JEPA 提出潜在意图,并通过动作条件化的 JEPA 持续预测未来潜在状态,两者在共享潜在空间中对齐。
针对全身世界动作模型(WAM)视觉预测目标未区分任务相关变化与场景 incidental 变化的问题,提出LANGUAGE-FORCING训练策略。该方法利用冻结的视觉语言模型评估任务进度并预测后续状态变化,将其嵌入与中间动作条件化的未来视觉特征对齐,仅用于训练且不增加推理开销。
论文提出了 EvoAD 框架,旨在解决端到端自动驾驶系统部署后无法像人类一样通过经验持续进化的问题。该系统将驾驶体验存储于鸟瞰图特征记忆池中,依据几何与语义相似度检索相关先例,并利用潜在世界模型在紧凑的规划空间中评估候选轨迹的未来后果。
论文提出 QualiDrive 方法,将端到端自动驾驶中的轨迹生成沿驾驶质量轴而非高斯噪声轴进行扩散。该方法通过构建场景特定的质量阶梯,根据测得的驾驶效应对观测到的轨迹排序,并学习通过有序的低质到高质细化来逆转这种退化。
推荐理由:提出沿驾驶质量轴进行扩散的 QualiDrive 方法,在 NAVSIM 上实现 SOTA EPDMS 并显著提升高分候选比例。
针对非结构化地面上的远距离投掷任务,本文提出一种结合动力学链手臂建模、SQP 轨迹优化与参考引导强化学习的全身协调框架。在固定基座上,优化后的臂部轨迹释放速度达 12.75 m/s,投掷距离为 16.68 m;启用全身协调后,释放速度提升至 16.64 m/s,投掷距离增至 28.25 m。研究通过硬件实验验证了该策略在平地、草地、斜坡和粗糙路面等多样地形下的鲁棒性。
论文提出了 ScaleNav 统一的世界 - 动作框架,旨在解决端到端导航策略需要多样化数据且真实数据采集成本高、仿真存在差距的问题。该方法首先利用互联网第一人称视频进行指令条件视频预训练以学习观察随相机接近目标而演变的视觉动态;随后使用带标签的仿真数据进行动作对齐以预测可执行的动作片段;最后通过联合微调优化所有可训练组件。
AnyGoal 是一个基于常用环境构建的目标偏移任务基准及开源库,旨在评估世界模型重组熟悉状态动作因子以产生有效动力学的能力。研究发现当前模型在这些未充分覆盖的组合下普遍失效,揭示了数据覆盖率、动力学泛化与下游规划性能间的关系。该框架为评估迈向能泛化至新规划任务的世界模型提供了基础分析依据。
针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。
推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。
论文提出 Fréchet Forcing 方法,用于微调世界模型以解决长序列生成中的漂移问题。该方法在无需教师模型或在线评论器的情况下,利用流匹配损失、上下文保真度和现实匹配三个约束,使模型在机器人操作和相机控制探索任务中能在超过 4,000 帧的长序列内保持稳定性并遵循动作指令。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
推荐理由:提出无需教师模型的 Fréchet Forcing 方法,通过流匹配与统计约束解决长序列生成漂移问题。
2026 年 AI 赛道出现向生命系统转向的趋势,Biohub 联合多方投入 18 亿美元搭建虚拟生物学计划,国内计算医学也被纳入国家规划。文章分析指出,新药研发难点在于理解完整生命系统的动态演化,因此行业正从单点分子模型转向构建能预测干预后果的“生命世界模型”。
2026 年 10 月 19 日下午,聚焦疾病状态演变与干预响应推演的医疗世界模型分会场在南京国际博览中心钟山厅举行。活动发布“医疗世界模型高质量数据集联合建设计划”及五项慢病世界模型(含胰岛素抵抗、糖尿病用药等),并推出融合国产设备的“医疗健康世界模型一体机”。相关成果强调需在真实场景中持续检验可靠性,不能以模型模拟替代医生诊疗决策。
新加坡具身创企 Ropedia 联合南洋理工大学等机构发布了跨本体移动操作世界模型 Ropedia W0。该模型基于视频扩散架构,通过统一的动作表示(相机运动与投影骨架)实现人类、机械臂及人形机器人间的预测能力迁移。
推荐理由:该团队构建的跨本体世界模型在五大评测基准中均排名第一,且未经后训练即可超越全量数据训练的竞品,展示了显著的少样本优势。
论文研究了数据量、多样性和模型容量如何影响具身智能体在不同视觉风格和物理动力学下的虚拟世界表现。实验覆盖 0.8B 至 27B 的四种模型规模及多种数据混合策略,结果显示更多数据提升同域性能,多样性有助于迁移到相关世界但远距离世界增益有限;存在早期界面阶段和后期世界阶段的转变规律,且模型在实时设置下表现最佳,但仍需更丰富的训练阶段以构建通用智能体。
Daimon Robotics 发布连接触觉传感、数据采集、仿真与 AI 模型的基础设施管线,而非开发单一基础模型。其 Umi 设备以 30 Hz 频率采集触觉反馈,并通过真实数据校准仿真环境中的摩擦力和接触力属性。
论文指出当前宏规划器常生成物理上不可实现的潜变量子目标,为此提出 Metro-WM 框架。该方法通过从离线专家演示或随机轨迹中检索真实观测帧构建图结构来连接不同集体验证的路径,而非生成无依据的潜向量。实验显示,Metro-WM 在长视界任务上的成功率最高提升 37.33 个百分点,速度快 10.9 倍,且所需离线计算量减少 13-56 倍,同时具备更强的执行误差鲁棒性。
针对现有系统将导航规划与世界建模解耦导致状态 - 动作对齐弱的问题,论文提出 UniWM,这是一个统一的多模态自回归世界模型,整合了以自我为中心的视觉前瞻与规划。
论文介绍 WorldOracle 基准,专门用于评估动作条件世界模型(ACWMs)在相同初始观测和低层动作序列下对真实世界执行的预测能力。该基准涵盖物理后果和任务状态转换的复现情况,并从物理状态正确性、交互空间对齐、关键交互区域保真度及多视角动作一致性四个维度进行评测。
论文提出了 WireCraft 基准,旨在解决工业组装中柔性线性物体(如线缆)操作难、缺乏统一评估协议的问题。该基准包含连接器插入、夹子布线等三个任务家族,支持刚体与变形两种物理模型,并提供了来自仿真及真实 UR5 机器人的轨迹数据。
该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。
推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。