CoDimRecon:基于智能体的可变形曲线曲面与体积仿真就绪三维场景重建框架
CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。
CoDimRecon 提出一种智能体框架,从多视角 RGB 观测中重建包含刚性、铰接及可变形物体的可编辑场景。该方法利用场景级几何先验确定尺度布局,针对可变形物体分别生成中心线、流形壳层或水密实体以适配不同维度仿真。在 Replica 和 ScanNet++ 数据集上,该框架实现了具有竞争力的组合重建精度并支持机器人交互验证。
DexAgent 是一种代理式 Human2Sim2Robot 框架,能将单目人眼视频和任务提示转化为物理落地的机器人轨迹以训练策略。该框架包含语义理解、基于属性的仿真重建、轨迹优化和数据生成四个阶段,通过自适应选择或开发新技能及属性验证器来适应不同物体与长周期任务。
该论文提出通用操作表示(UMR),将操作分解为与本体无关的世界流和本体轨迹两个几何关联组件,并实例化为 World--Ego Point VLA 模型。研究通过数据高效策略提升效率,在仿真基准上平均成功率达 97.5%,真实世界实验中利用约 10 分钟的人类演示即可实现跨机器人零样本迁移,平均成功率为 91.7%。
推荐理由:提出统一动作表示 UMR,实现从人类演示到异构机器人的零样本技能迁移。
论文提出一种利用大语言模型(LLM)构建包含物理关系、兼容性约束和目标的显式工程模型框架,允许在正式多目标优化前审查并修订建模选择。作者在四旋翼无人机和循迹机器人的组件选型问题上进行了评估,结果显示 30 次直接 LLM 设计尝试均无法通过最终模型验证为可行,且建模假设的变更显著改变了预测的可行与帕累托最优设计方案集合。
推荐理由:该框架利用大语言模型构建显式工程模型,使设计假设可被审查与修订,再结合形式化优化确保可行性与帕累托最优。
论文提出 Rolling-WAM,旨在解决标准世界动作模型(WAM)在每个重规划周期需完成完整联合视频 - 动作去噪导致的延迟问题。该方法在连续重规划周期间分布联合去噪过程,维护具有交错噪声水平的视频 - 动作块滑动窗口:每一步完全去噪即将执行的 imminent 动作块,同时部分细化更远未来的块;随着新相机观测更新窗口,保留的未来块继续其去噪过程。
PredActor 是一种预测性动作扩散策略,利用仅本体感知输入统一了引导模式,联合预测执行动作与内部未来状态轨迹以支持引导。该方法在仿真中达到 45 个目标中的 44 个,文本检索得分 0.539,优化后的推理延迟在 Jetson Orin NX 上低于 20ms。已在宇树 G1 硬件上演示了文本条件运动、抗干扰及语义插值能力。
DEXTERA 是一个自动化的真实到仿真再到真实框架,能将单张 RGB 图像转化为跨多种策略架构的可部署灵巧操作策略。该框架包含场景因子化、度量对齐与形态平衡校准、可扩展任务构建及共享多模态接口四个阶段。实验显示其在视觉保真度与几何重建上优于生成式基线,仿真训练的策略可在真实机器人上零样本部署,且联合训练将平均物理策略成功率从 29.2% 提升至 61.9%。
推荐理由:DEXTERA 框架实现从单图到可部署策略的自动化闭环,仿真训练策略在真实机器人上零样本部署有效,且联合训练将成功率提升至 61.9%。
针对 FastWAM 风格的世界动作模型在视觉分布偏移下泛化性差的问题,本文提出 CSWAM,通过引入基于 V-JEPA 2.1 的因果语义专家来增强对语义状态变化和运动的表征。
针对执行线性时序逻辑(LTL)指令面临的演示覆盖不足和语义成功谓词缺乏运动指导等挑战,该方法提出将行为学习与时序组合分离。从离线演示中训练非条件多模态扩散策略和语义预测器,后者估计动作序列后的语义结果以提供学习到的引导信号。
EgoSteer 是一个面向可操控灵巧操作的开源全栈系统,整合了 EgoSmith 数据管道、统一机器人堆栈及世界模型增强的 VLA。系统在 9,606 小时第一人称视频上预训练,并通过遥操作与 DAgger 微调,在 45 个多样化任务中稳健执行自由指令,并在两个具身平台上对长周期任务达到 79% 平均进度。代码、数据集、模型检查点及评测画廊已公开。
推荐理由:开源了基于第一人称视频预训练的灵巧手 VLA 系统,提供数据管道与仿真增强策略以支持遥操作微调。
论文介绍 GEM-Occ 框架,通过高斯证据记忆整合多观测的几何与语义信息,构建持久的室内语义占用记忆。方法利用置信度感知因果更新抑制矛盾并保留遮挡结构,支持分层组织以在连通空间高效查询。作者还推出了 HIOcc 统一基准,涵盖局部预测、房间级在线建图及建筑级建图,评估显示该方法在跨尺度映射与内存效率上优于现有方法。
Mask2Real-WM 是一个两阶段世界模型,通过将像素预测解耦为动力学模型和渲染模型来提升灵巧操作的可控性。动力学模型利用大量合成数据学习手部运动与交互的未来分割掩码,渲染模型则将掩码转换为逼真 RGB 图像。研究在 23-DoF 机器人系统上对比了五种模型,结果显示该解耦设计实现了最强的每自由度可控性,且仅在 2.5 小时真实演示微调后便获得显著增益,同时生成了更清晰的帧并保持感知质量相当。
论文指出冻结的视觉语言动作(VLA)模型泛化能力脆弱且缺乏长期后果意识。作者提出 SVA 框架,利用仿真中的蒙特卡洛树搜索采样探索输出分布,并将经验回报蒸馏到轻量级 Q 值模型中。
推荐理由:提出 SVA 框架,将蒙特卡洛树搜索蒸馏为轻量级动作评估器,使冻结 VLA 在保持泛化能力的同时提升任务成功率。
论文提出 Neural Voxel Dynamics 框架,利用单目视频深度先验将预训练的 Video Joint-Embedding Predictive Architecture (V-JEPA) 语义特征反投影至体素网格。
论文提出 ResCue(Residual Spatial Cueing)方法,通过独立编码器将预训练定位生成的掩码特征融合至 RGB 空间特征,在保留场景上下文的同时明确目标区域。该方法结合 Diffusion Policy,在 15 个仿真任务中平均成功率达 56.5%,真实世界双手动任务中达到 60.0%。消融实验证实残差融合优于输入级或池化替代方案,测试时干预显示目标校正引导对执行至关重要。
针对现有视觉语言动作(VLA)模型无法处理任务执行期间物体移动导致的延迟问题,本文提出 AHEAD 框架。该方法通过冻结 VLA 并引入基于光流的小规模运动感知潜在世界模型进行预测,利用语言与运动显著性掩码聚焦关键区域,并在不确定性达到阈值时自适应停止预测。
推荐理由:提出 AHEAD 框架,通过冻结 VLA 并引入运动感知潜在世界模型解决动态操作延迟问题,在仿真与真实机械臂上显著优于基线。
该研究提出 YoCausal 基准,旨在评估视频扩散模型是否真正理解因果关系而非仅拟合统计模式。通过以零成本对真实视频进行时间反转构建反事实样本,建立了可扩展的评估协议。
论文提出 FLASH Policy,利用连续勒让德多项式替代离散动作块生成,并通过历史系数初始化流匹配过程以加速推理。该方法无需数值近似即可直接提供速度前馈信号。实验显示其在五个仿真和两个真实操作任务中成功率均不低于 92%,单集推理时间为 31.40ms,训练收敛速度快于 ACT 且控制器跟踪误差显著降低。材料为 NeurIPS 2026 接收的预印本,代码与论文链接已提供。
推荐理由:FLASH 通过稀疏采样与连续多项式轨迹表示,将推理耗时降至 31.40ms,在五个仿真和两个真实任务中成功率均超 92%。
针对现有游戏世界模型在多人物游戏中角色功能固定、难以区分视觉相似角色的局限,该研究提出 ReactiveGWM 框架。该方法利用初始帧的实例掩码将学习到的角色句柄锚定到对应区域,并通过统一代理条件化技术融合玩家动作与 NPC 规则信号。
该论文针对实时交互式视频生成的低延迟需求,提出 Causal Forcing++ 方法以解决帧级两步采样设置下的初始化瓶颈。该方法利用因果一致性蒸馏(causal CD)学习 AR-conditional flow map,仅需单步在线教师 ODE 监督即可避免预计算完整轨迹,从而提升效率并降低优化难度。
论文介绍了一种用于大规模伤亡事件(MCI)的自主机器人系统,该系统融合多种视觉算法输出,利用专家定义的规则构建贝叶斯网络进行概率推理,以应对感知数据的不完整与噪声。
针对接触丰富任务中因目标、接触条件或动力学变化导致策略失效的问题,本文提出一种结合深度确定性策略梯度与有界极值搜索的混合控制器。RL 策略负责快速操作,有界 ES 确保在偏离训练分布时系统的鲁棒性。研究证明了机械臂在有限时间内收敛到物体及随后以有限时间收敛至有界速度移动目标的理论性质,并给出了收敛时间的解析公式与增益调节方法。
推荐理由:提出结合强化学习与有界极值搜索的混合控制器,在目标变化或摩擦分布偏移下实现有限时间收敛。
该论文提出了 RPL 框架,旨在解决人形机器人在复杂地形上多方向运动的鲁棒性问题。方法分为两阶段:首先利用高度图训练特定地形的专家策略以掌握解耦的运动与操作技能;随后通过蒸馏将这些能力迁移到仅依赖多个深度相机的 Transformer 策略中。
针对现有视频规划方法忽略过去交互信息、无法适应隐藏物理属性的局限,本文提出 RELIC 框架。该方法通过优化潜变量嵌入捕捉环境隐藏的物理属性,并引入基于拒绝的采样机制过滤与先前失败不一致的假设。
论文提出了 DAHLIA 框架,将长时程机器人操作视为集体验证任务规划问题。该方法利用渐进式组织的上下文示例与思维链推理引导大语言模型合成可执行代码计划;同时基于视觉语言模型的报告器仅在每轮执行后评估结果并提供结构化反馈以重规划,从而在部分可观测性下提升鲁棒性。
推荐理由:该工作提出 DAHLIA 框架,利用渐进式上下文代码生成与集体验证机制解决长序列任务规划问题。
论文介绍 H-JEPA,一种用于长程规划的端到端分层世界模型方法。该架构包含多个动作条件化的 JEPA 层级,每层在独立潜空间预测不同时间尺度的未来:顶层优化目标进度,下层将高层预测作为子目标。
推荐理由:提出分层 JEPA 架构,在仿真与真实机器人视频中通过时间尺度分解提升长程规划成功率并降低计算开销。
针对超声检查质量依赖操作员经验的问题,本文提出一种基于检索诱导的潜在过渡模型,将超声采集动力学建模为世界模型中的多步规划与检索任务。研究利用 V-JEPA 2.1 骨干网络将观测编码至潜空间,通过检索参考数据库中的相似视图及对应的探针位置姿态,建立非参数化、支持滚动时域规划的物理执行过渡模型。
EpicWorldModel 是一个用于训练具有内在不确定性的潜在世界模型的框架。该研究针对传统确定性 JEPA 在部分可观测场景(如遮挡)下失效的问题,提出联合训练预测器与潜在表示空间,利用流匹配目标直接预测多个潜在未来状态。
推荐理由:该工作提出基于流匹配的目标的随机 JEPA,利用预测方差引导 CEM 规划以解决部分可观测环境下的探索问题。
论文提出通用测试时训练(Universal Test-Time Training, uTTT),主张记忆所有权不应绑定于网络深度,所有层读写同一共享记忆并在时间与深度两个维度上递归。
推荐理由:提出 uTTT 架构,让所有层读写共享记忆以突破深度限制,在语言建模与新颖视图合成任务上均优于现有私有记忆设计。
论文提出 CASE 框架,将长视频代理何时停止视为基于策略的顺序停止问题。该方法结合辅助多项选择题评估累积证据与主机代理执行状态,利用轻量级 Ridge 回归器学习决策间隙并输出 STOP/CONTINUE 指令。
作者发布了 MedImageOSWorld 基准,用于在模拟的 CT、MR 和超声控制台环境中评估 GUI 智能体的能力。该基准利用截图和鼠标键盘操作,让智能体配置协议、规划采集并检查图像结果。评估结果显示,尽管智能体能完成大部分控制台工作流,但在获取目标解剖结构方面表现不佳,成功率从 3.0% 到 25.0%,且闭环控制下的成功率为 0%。
该论文提出一种概率松弛的三值时序逻辑框架,允许在同一网络中进行数值和梯度计算,同时在实际数据上保持精确的真/假/未知判决。作者通过两个机械臂任务(一个离线、一个在线)展示了该方法在子任务检查与序列执行中的效用,证明了其在正确性和及时性方面的优势。材料为预印本,未提及同行评审状态或具体部署规模。
论文介绍 InterMimicGen 框架,旨在解决人形机器人学习行走与操作时监督数据稀疏、异构且不可直接执行的问题。该方法首先整合人类交互数据集并重新定向为保留全身协调性与灵巧手关系的机器人参考动作;其次训练基于物理的通用追踪器在仿真中执行这些参考;最后构建数据飞轮,通过微调追踪器并筛选成功执行的变体来不断扩展运动覆盖范围。
该文介绍 S2PD 方法,通过在高噪声阶段进行自回归扩散以协调相互依赖的事件并产生有效状态转换,随后在低噪声阶段切换至并行扩散以联合优化整个视频。该方法包含从头训练的像素空间扩散 Transformer 及经 LoRA 微调的预训练视频模型两个架构。实验显示,S2PD 在游戏、物理仿真和真实视频中比匹配的双向基线更可靠地遵循规则,且相比其他串行方法具有更高的时间稳定性和采样效率。
针对冻结视觉语言动作策略中演示视频难以适配智能体上下文的难题,本文提出无需训练的递归视频上下文学习方法。该方法将任务演示转化为由抓取、释放等子事件构成的层级结构,智能体在规划时读取粗粒度层级,执行时按需加载细粒度片段。实验显示,基于 RPent 框架应用此方法后,LIBERO-PRO 成功率从 92.6% 提升至 96.5%,LIBERO-Plus 从 86.7% 提升至 95.8%。
推荐理由:提出无需训练的递归视频上下文学习方法,将任务演示转化为层级结构,在 LIBERO-PRO 和 LIBERO-Plus 基准上分别提升成功率至 96.5% 和 95.8%。
论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。
推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。
该论文针对视频和高分辨率 3D 资产生成任务中稀疏注意力方法导致质量下降的问题,通过受控对比分析将其归因于令牌分组约束、交互选择不准及丢弃令牌导致的贡献丢失。作者提出 Meta-Cached Sparse Attention (MC-Sparse) 框架,在无需训练的情况下选择单个 KV 令牌并将相似查询组织为与瓦片对齐的组以适配 GPU 执行。
推荐理由:原文通过受控对比分析稀疏注意力导致质量下降的三大根源,提出无需训练的 Meta-Cached Sparse Attention 框架。
论文提出了 ChronoWorld 框架,旨在解决现有相机可控视频生成模型难以保持内在 4D 时空一致性的问题。该方法引入“观测 - 状态 - 反思”架构,利用时空极线因果注意力机制强制执行多视图极线约束和时序因果性,并开发由重建驱动的几何反射流程以进行动态自我评估与修正。实验表明,该框架在多样化的场景中实现了具有电影级质量的连贯 4D 场景生成,且在时空一致性和高保真几何方面表现优异。
针对现有世界动作模型(WAMs)在多步去噪和专家串行执行上的效率瓶颈,本文提出 RealtimeWAM 架构。该方法通过教师锚定一致性蒸馏实现一步动作生成,并利用跨专家波前流水线消除等待开销。实验显示,该模型在 LIBERO、LIBERO-Plus 及 RoboTwin 等基准上性能损失小于1%,在 H100 硬件上端到端速度提升约25倍。代码与检查点已开源。
针对异质机器人视频学习动作条件化世界模型的挑战,本文提出 SimForcing 框架,利用仿真作为可迁移的运动知识源和可控预测参考。该方法通过潜空间蒸馏对齐时间变化以内部化运动先验,并引入多块仿真条件与条件丢弃机制,平衡基于内部知识与仿真潜变量的预测。