MemTransfer:超越匹配经验的具身决策记忆基准
MemTransfer 是一个具身决策基准,旨在评估记忆表示在条件变化时的泛化能力。该研究在模拟仓库环境中构建了 100 个导航案例,涵盖十种任务类型,并基于专家演示提供历史数据。
MemTransfer 是一个具身决策基准,旨在评估记忆表示在条件变化时的泛化能力。该研究在模拟仓库环境中构建了 100 个导航案例,涵盖十种任务类型,并基于专家演示提供历史数据。
DeepMind 团队提出 StarWM 模型,利用自监督动态训练的交叉注意力机制指导视觉内容重建,有效平衡环境动力学捕捉与无关内容抽象。在 DeepMind Control 基准测试中,默认版本在随机帧干扰下表现最强,奖励增强变体在序列视频任务上达到最高回报。代码已开源。
该论文针对图像目标导航任务中潜在世界模型的规划成本排序问题,提出了一种基于冻结 DINO 家族编码器的新模型架构。研究定义了预测未来嵌入与目标嵌入之间的余弦距离作为规划成本,并引入自回归展开损失和单调成本排序(MCR)损失来优化多步规划性能。
论文介绍 FlowPilot,这是首个从深度信息构建的实时机载无人机导航世界动作模型。该模型通过流匹配联合去噪未来深度观测与可执行轨迹,利用双流混合 Transformer 耦合视频与动作专家以相互促进预测与生成。
论文介绍 Spatial-IQ 分层诊断框架,利用 NVIDIA Isaac Sim 生成约 80,000 个堆叠 3D 结构数据集,将物体计数任务拆解为 9 个子任务并加入心理旋转探测。
论文提出 SpectraReward 方法,利用预训练多模态大模型(MLLM)无需额外训练即可作为图像生成强化学习的奖励模型。该方法通过单次教师强制前向传播,测量从生成图像恢复原始提示词的平均对数似然值作为奖励信号,直接复用 MLLM 的图文对齐能力而无需偏好标签或奖励模型微调。
RedPhys 是一个针对物理世界模型(PhyModels)和智能体(PhyAgents)的可扩展红队测试平台,旨在发现具有物理基础的函数故障。该平台集成了12种红队方法、3种模型无关防御机制以及13个涵盖七个物理领域的模型,在黑色盒威胁模型下进行评估。
Next Forcing 是一种针对世界动作模型(WAM)的多块预测(MCP)框架,旨在解决自回归视频生成训练慢、收敛精度低及推理迭代耗时的难题。该方法引入轻量级辅助模块,同时去噪多个未来时间步的视频块,利用中间特征融合实现因果链式预测,为模型提供密集多尺度时序监督。
该论文提出 FINO 方法,通过结合自监督目标与灵活的元数据引导,实现无标签的视觉基础模型弱监督微调。实验涵盖亚细胞荧光显微镜、地球观测、野生动物监测和医学成像等领域,结果显示该方法在保留信息因子的同时抑制虚假因子,性能优于匹配的自监督和全监督基线,并在部分领域超越专用系统。代码已开源。
针对长视界视频生成中的几何一致性难题,本文提出了基于深度图的记忆检索框架 CovRAG。该方法利用预训练 3D 先验构建目标视图覆盖图作为轻量级证据,并通过最大化残差覆盖增益迭代选择能解释未被时序上下文或先前记忆覆盖区域的帧。
该论文提出 Flow Mismatching 方法,利用流匹配模型学习到的正常速度与目标图像几何路径速度之间的不匹配来检测异常,无需测试时优化或额外校准。实验在 MVTec-AD 和 VisA 数据集上验证了该方法与重建基线及近期流匹配方法的竞争力。
研究发现模型精度不受无信息哑元替换影响,表明现有数据中潜变量提供的额外信息有限且推理时生成的潜变量坍缩至狭窄区域。实验证实仅在诊断数据集上微调后模型才能因果依赖潜变量,未来进展需高质量中间步骤数据与更精准的潜变量预测。
DeformMaster 是一个从真实视频推导出的交互式物理 - 神经世界模型,能在统一动力学与外观框架下恢复几何、物理动态及材料行为。实验在真实世界可变物体序列上验证了其未来动力学推演与高保真渲染能力,优于最先进基线并支持新动作推演与材质参数变化。代码与视频演示已在项目页面公开,该版本为 NeurIPS 2026 Camera ready。
Swim2Real 利用视觉语言模型(VLM)对比真实与模拟视频,通过回溯线搜索优化 16 个仿真参数以匹配软体水下机器人的变形与推进。独立预注册的五十种子实验显示,该方法在 40 次评估中将平均最佳误差较随机方向降低 63.4 mm、较置换方向降低 53.2 mm(p<10^-5)。
论文挑战“仿真无法直接迁移至现实”的共识,证明在足够大规模的合成训练数据下,无需真实数据采集或微调即可实现静态与移动操作的零样本泛化。作者开源了 MolmoBot-Engine 生成管线及包含 170 万专家轨迹的 MolmoBot-Data 数据集,并基于此训练了三类策略模型。
推荐理由:提出仅靠大规模合成数据即可实现零样本现实世界操作,并开源了生成管线与百万级轨迹数据集。
针对端到端自动驾驶模型依赖纯数据驱动归纳推理导致的黑盒性与长尾场景安全性挑战,提出新型神经符号轨迹规划(NS-Plan)框架。该框架利用大语言模型动态提取场景规则,并采用答案集编程求解器进行确定性逻辑仲裁,生成可追溯的离散驾驶决策;通过决策条件解码机制将高层逻辑决策转化为可学习嵌入向量,约束微分自行车模型的物理初速度;结合动力学基线轨迹与神经网络残差修正。
该论文提出 GTA 框架,将低层空间状态估计与高层语义规划解耦,引入结合几何积累与导航历史的显式度量世界表征,并通过反事实分支推理修正决策。在 R2R-CE val-unseen 全量测试集上成功率为 48.8%,在 260 集英文子集上为 46.2%。研究还展示了该方法可迁移至轮式、四足及空中机器人。材料为 arXiv 预印本,未提及同行评审状态或具体部署许可。
该综述构建了涵盖操作员体验、机器人自主性与双向通信的水下遥操作人机界面分析框架。文章对比了视觉、触觉、扩展现实及自然语言等接口技术,区分了成熟工业工具、选择性部署技术与研究阶段能力,并指出了互操作性与现场验证等局限。报告最终提出了面向流体反馈、低延迟共享自主性及真实到仿真迁移的研究路线图。
$\Sigma$-LeWM 在 LeWorldModel 基础上增加反向动力学预测器及逆动力学动作预测器,通过额外潜变量损失强化隐空间结构以提升规划效率。该方法已在标准世界模型基准及两个仿真机器人操作任务上验证了性能与效率的双重增益。研究旨在提升此类方法在真实机器人实时基于模型的控制系统中的适用性。
该论文系统梳理了可微物理仿真中“计算对象”与“反向传播实现”的分类差异,指出精确梯度优势取决于拟合目标来源而非单纯求解器预算。研究量化了接触非光滑性导致梯度丢失的四种机制,并验证了在特定条件下零阶方法优于模拟器梯度的现象。材料提供了报告清单、诊断工具及未来研究议程,旨在澄清文献中的混淆概念。
论文提出 SCALE 框架,旨在让轻量级自主智能体在不依赖昂贵大语言模型推理的情况下持续获取可复用知识。该架构由小模型处理常规预测,仅在预测错误或积累跨回合证据时触发 LLM 进行反思;LLM 分析历史经验并生成反事实示例以提出可复用的概念假设。
推荐理由:SCALE 框架通过小模型处理常规任务、LLM 仅在误差时介入反思,实现了经验知识的紧凑内化与层级抽象。
该论文测试了单步随机码本匹配(nearest-of-m)在冻结 DINOv2/v3 令牌上的表现,发现 m=16 即可覆盖枚举的未来且延迟约为扩散方法的 1/30。研究证实该方法在模式不确定性下优于多步流匹配和能量分数生成器,但指出其在连续高维输出上存在欠分散性限制,且准确的风险分析并未提升规划成功率。
推荐理由:该文在冻结 DINOv2/v3 令牌上验证了单步随机码本匹配方法,发现 m=16 即可覆盖枚举未来且保持低延迟,同时揭示了该方法在连续高维输出上的欠分散性限制。
针对各运营方独立微调导致难以合并的难题,本文提出 DeltaForge,这是据我们所知首个事后混合专家 VLA 架构。该方法利用不同微调更新间的共享结构,通过奇异值分解(SVD)将权重更新拆分为共享部分和极小的域特定部分;路由网络仅需处理这些微小片段而非全量专家权重,从而保持高效。
该研究提出一种基于 Transformer 的策略,用于解决部分观测且含噪声的多输入多输出线性时不变系统族的通用控制问题。策略通过共享表示与编码技术,仅需短时噪声测量即可生成控制动作,无需植物矩阵或状态估计器。
推荐理由:论文提出利用 Transformer 实现无需显式状态估计的通用输出反馈最优控制,在仿真系统中达到接近 LQG 的最优成本。
SituRecBench 是一个交互式基准,用于评估前沿视觉语言模型(VLMs)在高保真三维环境中作为情境推荐助手的能力。该基准模拟超市和家居店等真实购物场景,要求助手在共享用户第一视角时通过对话激发偏好、将推荐锚定环境并引导导航。实验揭示了空间锚定与偏好激发方面的持续挑战,表明现有模型难以整合全局上下文与局部观测信息。
论文提出世界模型规划加速器(WMPA),旨在解决嵌入式设备上运行世界模型时的功耗与热限制问题。研究通过信息论推导了潜状态转换的计算下限,并分析 DreamerV3 风格模型的实测数据,发现其受限于内存带宽且能耗远超 CMOS 物理极限,导致持续计算引发严重过热。
论文介绍Reframe后训练框架,旨在解决视觉智能体在工具使用中忽视返回观测及动作缺乏依据的问题。该方法包含两个阶段:Ground-Drop-GRPO利用证据感知奖励和随机移除原始视觉输入来训练空间与时序专家;Observation-Gated-MOPD则在推理中途用规范动作替换不足的工具动作并修复观测以继续蒸馏。
针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。
推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。
本文提出 Grasping-the-Future,这是一个统一的生成模型,用于联合预测手腕、手指关节及物体的三维位置与朝向。通过掩蔽时空补全和流匹配技术,该单一模型可执行多种预测任务:预测未来交互、根据物体运动推断手部运动或反之、生成交互轨迹以达成目标物体姿态,以及补全部分观测到的交互过程。
论文 SWAM 针对世界动作模型(WAM)中动作学习可能损害语言 - 视频对齐的问题,系统研究了监督设计与架构影响。研究混合使用第一人称视频与 UMI 演示数据,在固定预算下提升了控制泛化能力。
DreamLander 利用 DreamerV3 构建样本高效且泛化性强的模型,解决真实六自由度进入下降着陆问题。该算法在指定着陆区误差小于 2 米、速度范数低于 0.3 米/秒的条件下实现软动力下降,推动端到端解决方案进展。目前为 arXiv 预印本(arXiv:2611.12824),待正式注册 DOI 并投稿至 AIAA SCITECH 2026 Forum。
研究在 NVIDIA Isaac Sim for Healthcare 平台上验证了基于物理的血管可压缩性仿真,利用 Vertex Block Descent 求解器将单帧计算时间从 29,700 毫秒大幅降低至 30.4 毫秒。
arXiv 论文提出 Library of Hands (LoH),一种无需重新训练即可适配不同控制器或相机视角的世界模型方法。该方法冻结 LeWM 等世界模型,仅通过读取摄像头图像差异来识别并修正指令到实际动作的映射(即“手”),从而解决同一指令在不同硬件下效果不一致的问题。
论文介绍 WanderBench 基准,包含 745 个真实与 AI 生成的单镜头视频及键盘动作路线,评估六维度的 24 个子指标。测试发现现有模型在长片段中虽保持静态场景和画质,但丢失相机控制与源动态,且无法保持一致的 revisit 地点。作者提出 WanderLand 免训练框架,通过条件化同一时刻源内容与早期静态内容提升表现,部分维度最高改善 8.3 分。
推荐理由:提出 WanderBench 基准与 WanderLand 框架,揭示视频条件生成在长序列中丢失动态一致性的问题并提供免训练改进方案。
针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。
推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。
针对动作条件下世界建模中宏观状态构建与视觉变化一致性的挑战,论文提出基于商因果构建的视觉世界模型 QCC-WM。该模型利用动作响应引导宏观变量构建,并通过共享参考商测量约束预测状态与观测变化的一致性。
作者发布 DisasterVL 数据集与基准,包含约 120 万张来自 142 个国家的灾害图像及 2500 万条结构化标注,涵盖场景描述、事件地点评估、空间关系及视觉问答。
推荐理由:该工作提出灾难场景理解基准与模型,为具身智能在极端环境下的感知推理提供新数据支撑。
作者 Dibyendu Ghosh 提出 Motion Belief Action(MBA),这是一个基于场景地图的决策层,用于处理机器人无法直接观测的物理状态与风险。
推荐理由:提出 Motion Belief Action 决策层,在真实厨房与多地点场景中提升物体存在判断与推拉风险决策能力。
Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。
推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。
arXiv 论文提出 LO-World,这是一个统一的 4D 世界模型,在共享鸟瞰图(BEV)潜在空间中联合预测 LiDAR 点云和 3D 语义占用。该方法通过耦合高效的混合范围体素自编码器和流匹配生成器,利用历史上下文缓存降低迭代采样延迟。