物理时间:机器人策略记忆动力学中缺失的维度
现有机器人策略记忆通常随观测序列演化,隐含地将每次更新视为相同的物理时长,忽略了相同观测历史可能跨越不同持续时间并需不同动作的事实。本文提出 Temporal Flow Policy (TFP),通过学习记忆动力学来保留过去事件并在测量的时间间隔内演化记忆状态。
推荐理由:提出将物理时间作为机器人策略记忆的关键维度,通过引入时间流机制提升在需要时序与记忆的物理操作任务中的成功率。
现有机器人策略记忆通常随观测序列演化,隐含地将每次更新视为相同的物理时长,忽略了相同观测历史可能跨越不同持续时间并需不同动作的事实。本文提出 Temporal Flow Policy (TFP),通过学习记忆动力学来保留过去事件并在测量的时间间隔内演化记忆状态。
推荐理由:提出将物理时间作为机器人策略记忆的关键维度,通过引入时间流机制提升在需要时序与记忆的物理操作任务中的成功率。
论文提出‘代理型机器人’范式,即智能体能基于人类指令进行推理、交互环境、自主纠错并动态调整策略。文章梳理了从基础策略到视觉 - 语言 - 动作模型、世界模型及世界 - 动作模型的演进路径。
论文介绍 PreActIR 框架,该框架通过工具条件世界模型在执行前预测残差退化、图像质量及风险,并由独立验证器决定是否提交或回滚输出。实验显示,在固定候选池与预算下,该方法比试错方法减少 42.5% 真实工具调用和 63.4% 被拒绝调用,同时提升 Y-PSNR 0.92 dB。材料为 arXiv 预印本,处于审稿中。
推荐理由:提出 PreActIR 框架,在固定候选池与预算下比试错方法减少 42.5% 真实工具调用并提升 Y-PSNR。
Learning-Based Adaptive MPC 算法通过在线学习行星磁场模型,解决了磁矩器在轨道任务中控制权限不足的问题。该方法在地球轨道与天王星轨道仿真中,分别将控制器成功率提升了 5% 和 61%。该研究已接受发表于 International Conference on Space Robotics (iSpaRo) 2026。
论文提出 PAWA 数据集与框架,解决现有数据缺乏多玩家独立动作与全景视频同步的问题。该框架解耦 CPU 游戏捕获与 GPU 渲染,支持超过 64 名同时在线的玩家,并能在新观测配置下重渲染会话而无需回放游戏。
该论文在 CARLA 仿真城市中,利用核密度估计器调整训练样本权重,解决了行为克隆(BC)方法在交通灯合规等稀缺专家演示场景下的学习难题。实验表明,相比标准 BC,该方法显著提升了路线完成率,尤其在未经历训练的测试环境中表现更佳。研究采用鸟瞰图输入简化策略学习过程,相关手稿已作为 BRACIS 2024 会议录用版本公开。
针对跨域世界模型中动作接口差异及标注稀缺问题,论文提出 OneLA 框架,利用共享正交字典和通用预测目标学习连续潜在动作,无需任务特定设计或跨域对齐损失。该潜在动作为世界模型提供统一条件控制接口,配合轻量适配器将原生指令映射至同一空间。实验显示,OneLA 在跨域动作读出上表现更好,相比最强基线降低动作循环转移旋转误差 24.8%,真实场景生成的人类偏好分数提升 20.5%。
论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。
推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。
该论文回顾了触觉感知在机器人灵巧操作中的核心作用转变,即从接触检测与反应控制转向支持可迁移表征学习与物理推理。文章按学习与控制流程的功能角色,系统考察了触觉表征、策略学习、基础模型、预测自适应控制及跨对象任务传感器实体和仿真到现实的泛化能力,并总结了设计原则与剩余挑战。材料为 arXiv 预印本综述,附带相关文献数据库资源链接。
针对预训练的世界动作模型(WAMs)在处理密集未来帧 Token 时产生的高推理延迟问题,本文提出了 CF-Prune 这一无需训练的剪枝框架。该方法利用指令与动作注意力机制识别任务相关 Token,并通过基于熵的相位识别机制保留高精度计算阶段以缓解性能下降。
推荐理由:提出无需训练的剪枝框架,在保持任务成功率的同时显著降低推理延迟。
论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。
推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。
作者引入 PhyMetric 基准,将文本生成视频的物理合理性评估重构为基于场景的可验证问答任务。该基准包含 1,115 个涵盖 50 类物理现象的场景,每个场景配备 8 个针对特定维度的二元问题及结构化物理先验。实验表明,相比单一通用评分,这种场景级问答是评估协议的关键组件;引入结构化先验能改善不同容量视觉语言模型打分的人类对齐度。该工作已被 NeurIPS 2026 接收。
该研究针对视频世界模型在长交互中难以保持状态一致性的问题,提出了将持久化抽象状态与视觉状态解耦的新范式。架构 StateCraft 结合语言模型与视频扩散模型,利用抽象状态跟踪实体变化并条件化当前视图生成。作者在无监督数据管道上构建了基准测试,结果显示该方法在生成质量、记忆能力和可控性上超越现有基线,且支持对未观测状态的直接编辑及空间环境(如光照变化)的模拟。
该研究提出混合现实反馈控制框架,旨在通过融合多现实(仿真、物理)中的控制输入与反馈信号,优化机器人及自主系统的原型验证流程。针对多现实处理需求,该方法为控制系统建模技术提供了具体支持,以简化系统生命周期管理。论文包含 19 页正文与 7 幅图示,目前处于 arXiv 预印本阶段。
视频大语言模型常生成不受输入视频支持的响应。现有对比解码方法依赖预定义扰动或掩码,对模型视觉依赖的控制有限。本文提出无需训练的 ARP-CD 框架,利用答案预测位置分配给视觉 token 的注意力质量来引导语言模型输入视觉隐藏状态的有界梯度更新。
论文提出 SceneAE 方法,将场景表示为结合显式 3D 位置与隐式内容特征的稀疏点云,实现了对场景本身的直接描述而非特定视角外观。该方法通过几何与内容的分离,先生成相机控制的 3D 几何再合成内容,解决了相机与外观纠缠问题。实验表明该 3D 潜在空间在生成质量、计算成本和相机可控性上均优于传统视频 VAE 方法。
10月14日,破晓智能联合天珑移动发布全身全模态数据采集系统SeePhys Hub,旨在为第一视角(Ego)数据补上缺失的全身运动与触觉交互信息。该系统由四目头环、双腕手环、三处腰腿追踪器及可选触觉手套组成,通过视觉、IMU、UWB多源融合恢复全身姿态并记录接触压力。
针对视觉运动策略在部署时无法预测或恢复失败的问题,本文提出一种离线训练的监控与干预框架。该方法仅通过黑盒查询访问,从有限的在线策略轨迹中学习策略条件的存活值以监测进度,并训练紧凑的潜在世界模型用于搜索修正动作。
论文提出 Active Generative Simulation 范式及 MetaGenSim 框架,旨在解决现有方法将仿真器视为固定数据源的问题。该框架通过元学习辅助评分网络自动发现高效用数据生成分布,无需人工参数对齐。
该论文提出一种概率物理数字孪生框架,将质量、摩擦力和质心等难以精确获取的物理属性表示为概率分布而非固定值。通过在这些分布上进行模拟,系统能预测动作结果的范围及其可能性,从而指导人机交互中的有效动作规划。材料展示了在人机交互场景下利用该框架进行界面通信和机器人策略规划的初步演示,目前仅作为预印本发布在 arXiv 上,未报告真实机器人部署或同行评审状态。
论文提出了 SonoWorld,这是一个因果超声世界模型,旨在解决机器人超声中因探头微小运动导致图像大幅变化而难以进行交互式控制的难题。
arXiv 预印本论文介绍 SMART 方法,旨在解决长视界视频生成中记忆容量与空间召回的竞争需求。该方法利用由观测相机地址的槽位循环存储内容,读取时由渲染相机查询,无需构建显式三维表示或维护增长缓存。
CoRE-MPC 是一种利用非线性降阶模型进行规划并保证满序系统递归可行与约束满足的鲁棒 MPC 方法。该方法在 80 态振荡器链、Burgers 方程及 9,768 态软体机器人仿真中验证,两态 ROM 方案求解时间低于 1ms,速度比全序鲁棒 MPC 快 13 至 61 倍且闭环成本仅高 27% 至 35%。代码将于发表时开放。
D3WM 模型通过联合回归确定性状态预测与空间不确定性图,利用方差门控随机微分方程分离漂移与扩散过程。该方法在机器人桌面操作和相机运动两类动作空间中均优于竞争性基线,有效处理了遮挡区域显现及动态纹理等随机变化带来的场景演化挑战。
论文介绍了 LidarVerse,这是一个统一的 LiDAR 世界模型,旨在解决现有仿真器在几何重建与生成一致性之间的权衡问题。该方法通过通用分词器将 LiDAR 序列映射到共享潜在空间,利用双向教师网络学习条件接口,支持基于 LiDAR 前缀、高精地图、持久化空间缓存及文本的多种输入。
WorldMemBench 基准通过 260 个测试用例,系统评估视频世界模型的静态与动态记忆能力。该基准结合外观几何指标与事件特定评估,发现强静态保留并不意味可靠的动态状态演化。研究涵盖九款代表性模型及人类对齐验证,为构建持久且时间连贯的视频世界提供诊断工具。
该论文探索利用通用编码智能体通过可执行程序构建图像的替代方案。研究基于 AgentDrawBench 200 提示词基准,发现智能体在保持结构和满足精确视觉约束方面表现优异,但在感知丰富度上受限;其视觉表达力随绘图接口变化。
针对高维动作条件预测模型计算昂贵的问题,提出 Action Jet 方法直接估计当前状态下动作变化引起的图像区域移动流形局部形状(至三阶泰勒多项式)。该方法仅需单次推理即可评估任意数量候选动作,在 BridgeData V2、DL3DV 等基准上相比 IRASim 和 WorldGym 等生成器加速超过 300 倍且计算量减少超 100 倍,同时在短视界内对未见帧的预测更准确。
针对仿真训练的人形策略在真实硬件上无法有效迁移力交互的问题,论文提出 Contact-UAN 残差世界模型。该方法保留仿真物理先验并修正执行器动力学以对齐硬件数据,利用本体感知推断仿真端所需的足部姿态以初始化接触一致的播放。
该研究提出 HumanVerse 数据集及从人类到机器人的对齐管线,旨在解决大规模收集机器人演示成本高的问题。通过引入 λ0 这一具身基础模型,利用对齐后的人类演示数据进行中期监督训练,实现了在 Unitree G1 上的零样本迁移。实验显示,该方法在 SIMPLE 基准上达到 90.0% 成功率,在真实世界任务中达到 62.5%,且增加全身人类数据能持续提升下游任务进展。
论文提出了 SafeDriveVLA,这是首个将导航遵循与冲突感知结合评估的驾驶视觉语言动作(VLA)基准及模型。该模型通过显式预测三级导航合规模式并利用导航条件化的世界模型进行‘做梦’,以判断严格跟随导航信号是否安全。
论文提出 VITAL(Vision-Induced Tokens for Action Learning),旨在将视觉预期转化为驾驶决策。该方法通过耦合视觉导出的运动骨架与紧凑残差编码,使视觉运动成为主要预测目标,同时为轨迹误差提供独立的归一化学习尺度。
推荐理由:该工作提出 VITAL 方法,将视觉运动作为动作预测主目标并引入残差编码,在 NAVSIM v1/v2 测试集上实现接近多步推理的精度与速度。
XGEN Team 发布技术报告,提出一种将持久化共享世界状态与连续第一人称视听生成耦合的框架。该框架集成可计算世界引擎 DAO 用于维护角色、物体及空间关系并推进世界演化,同时利用 Egocentric Interactive Experience Model JING 结合观测条件生成特定视角的体验。
论文提出 Glance Forcing 框架,解决将双向扩散模型蒸馏为因果少步学生模型时效率低的问题。该方法仅使用单个轨迹样本,通过解耦去噪过程为慢速和快速两个专家,分别优化语义布局与精细纹理,避免了单一学生模型的表示干扰。
论文提出 WEDGE 框架,通过大语言模型分析预训练导航策略在仿真中的成功与失败轨迹,自动提取并验证可执行的弱点特征(如特定环境因素导致的失败模式)。系统将这些弱点映射到环境控制参数上,生成针对策略当前弱点的困难级训练环境。实验表明,该弱点引导的适应方法在不同导航代理上均优于随机或硬样本基准,且能持续迭代诊断以应对策略改进后的新弱点。
LIBERO-Industry 是一个基于 LIBERO 构建的新型基准,旨在评估机器人在高混合低产量(HMLV)等灵活制造场景下的操作能力。该基准将产品变体、物料流动变化、有限执行窗口和严格几何公差等工业约束转化为可控任务条件,包含静态到动态加载、动态到静态卸载及动态到动态转移三类共 216 个任务。
该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。
推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。
论文介绍 ASAP 框架,旨在解决大语言模型在预训练阶段难以评估智能体能力的难题。该方法保留模型的补全接口,通过结构化轨迹延续、简短参考前缀和最小恢复机制来激发基座模型的交互行为,无需将其转化为对话式智能体。研究在软件工程与深度研究基准上验证了 ASAP 能区分不同基座模型及预训练检查点的端到端性能,并暴露生成的执行轨迹以分析探索、编辑、测试、恢复等能力变化,为理解预训练后的模型行为提供诊断视角。
论文介绍 LEV 模型,这是一种无需生成文本即可进行深度推理的决策模型。该模型通过在训练好的语言模型基础上循环运行其层来增加推理深度,从而在保持单次前向计算的同时提升对复杂问题的回答准确率。实验显示,LEV 在硬任务上的准确率随深度增加而显著提升,且能通过小阈值动态调整推理深度以节省约 15% 至 24% 的计算量。
推荐理由:提出循环决策模型架构,在无需生成文本的情况下通过迭代层实现深度推理,显著降低硬任务计算成本。
视频生成器虽能构建交互世界,但生成的帧未必描绘一致的三维场景。现有基准缺乏对三维一致性的系统性评估。本文提出 Orbia 基准,首次从输入保持、生成内容持久性和三维自洽性三个维度,通过受控探索与回访机制,量化评估模型在外观、几何及空间稳定性上的表现。
推荐理由:Orbia 基准填补了交互式世界模型在三维一致性评估上的空白,提供了一套涵盖输入保持、生成内容持久性与三维自洽性的系统评测框架。