跳到正文

技术方向

世界模型 最新动态

世界状态建模、预测、可控生成与交互;区分视觉生成、空间导航和具备物理预测能力的系统。

574 条精选近 30 天 307 条共收录 1,758 条

更新

精选归档 · 第 24 页

10月6日周二第 461–480 条
  1. arXiv · 机器人与计算机视觉83

    递归视频上下文学习用于智能体机器人研究

    针对冻结视觉语言动作策略中演示视频难以适配智能体上下文的难题,本文提出无需训练的递归视频上下文学习方法。该方法将任务演示转化为由抓取、释放等子事件构成的层级结构,智能体在规划时读取粗粒度层级,执行时按需加载细粒度片段。实验显示,基于 RPent 框架应用此方法后,LIBERO-PRO 成功率从 92.6% 提升至 96.5%,LIBERO-Plus 从 86.7% 提升至 95.8%。

    推荐理由:提出无需训练的递归视频上下文学习方法,将任务演示转化为层级结构,在 LIBERO-PRO 和 LIBERO-Plus 基准上分别提升成功率至 96.5% 和 95.8%。

  2. arXiv · 机器人与计算机视觉83

    TAPDreamer:一种可迁移的对抗补丁用于攻击世界动作模型

    论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。

    推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。

  3. arXiv · 机器人与计算机视觉82

    MC-Sparse:解构并弥合扩散 Transformer 中稠密与稀疏注意力的差距

    该论文针对视频和高分辨率 3D 资产生成任务中稀疏注意力方法导致质量下降的问题,通过受控对比分析将其归因于令牌分组约束、交互选择不准及丢弃令牌导致的贡献丢失。作者提出 Meta-Cached Sparse Attention (MC-Sparse) 框架,在无需训练的情况下选择单个 KV 令牌并将相似查询组织为与瓦片对齐的组以适配 GPU 执行。

    推荐理由:原文通过受控对比分析稀疏注意力导致质量下降的三大根源,提出无需训练的 Meta-Cached Sparse Attention 框架。

  4. arXiv · 机器人与计算机视觉78

    Keepsake:面向长视界视频生成的选择性空间记忆方法

    论文介绍 Keepsake,一种无需训练、在线运行的固定容量空间记忆控制器。该方法针对长视界相机控制视频生成中场景一致性的维持问题,提出观测价值取决于内存库中替代方案数量的新视角。

    推荐理由:提出 Keepsake 控制器,通过构建姿态 - 外观图动态评估观测值,在固定内存预算下显著降低长视频生成的 FVD 指标。

  5. arXiv · 机器人与计算机视觉82

    Encoded but Not in Control:揭示视觉语言机器人策略中的 grounding gap

    该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。

    推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。

  6. arXiv · 机器人与计算机视觉78

    I-BFM:基于奖励条件的人形机器人鲁棒交互行为基础模型

    论文介绍 I-BFM,据称是首个针对人形机器人与物体交互的行为基础模型(BFM)。该模型利用前向 - 后向表示和无监督强化学习,学习人形、物体及其接触点之间的耦合动力学共享表征。

    推荐理由:该工作提出首个面向人形机器人与物体交互的行为基础模型,通过无监督强化学习实现单一策略对多种任务的闭环控制。

  7. arXiv · 机器人与计算机视觉84

    Conditional Trajectory Peaks:单次通过多模态策略框架

    论文提出了 Conditional Trajectory Peaks (CTP) 框架,旨在解决多模态模仿学习中同一观测下需生成多样化可执行未来及重规划周期行为一致性的问题。

    推荐理由:该工作提出单次通过多模态策略框架,在多个基准及真实双臂实验中验证了其在覆盖度、成功率与推理延迟上的综合优势。

  8. arXiv · 机器人与计算机视觉82

    自适应均值流:面向高响应闭环控制的机器人策略新方法

    针对扩散与流基机器人策略因迭代去噪导致预测延迟、阻碍高频闭环控制的问题,本文提出自适应均值流(AMF)方法。该方法利用加速的流匹配技术最小化延迟,并通过结合上一时刻轨迹的噪声版本来确保预测平滑性与一致性,在模拟及真实机器人任务中显著优于基线。代码已开源。

    推荐理由:提出自适应均值流方法解决扩散策略延迟问题,实现高响应闭环控制。

  9. arXiv · 机器人与计算机视觉82

    Bilinear Flow Policy:面向未见目标的视觉运动模仿学习新框架

    针对条件模仿学习中面对未见目标时多模态行为坍缩的问题,本文提出 Bilinear Flow Policy(BFP)。该方法利用预训练视觉特征和新型锚点选择算法,将未见观测 - 目标对分解为熟悉锚点与残差项,并通过双线性流建模其联合决定的动作分布。

    推荐理由:提出结合归纳检索与双线性流的生成策略,在仿真中实现比基线高 2.63 倍的未见目标成功率。

  10. arXiv · 机器人与计算机视觉82

    HLA-WM:一种用于长视界视频世界模型的无训练混合线性注意力框架

    针对 Gated DeltaNet 在长序列生成中的遗忘问题,该研究提出 HLA-WM 框架,结合粗粒度几何引导检索与细粒度循环线性状态计算,无需额外训练即可提升场景一致性。实验显示,该方法在 60 秒视频基准测试中将 PSNR 提升 0.74 dB、旋转误差降低 28.5%,并将历史状态显存占用减少至全 KV 缓存的 1/12,同时仅损失最多 1.6% 推理吞吐量。

    推荐理由:该工作提出无需训练的混合线性注意力框架,在长视频生成中显著降低显存占用并提升场景一致性。

  11. arXiv · 机器人与计算机视觉82

    FLEX-WAM:用于长视界想象与规划的灵活块因果世界动作模型

    arXiv 论文介绍了一种名为 FLEX-WAM 的灵活高效块因果世界动作模型,旨在统一模拟与策略推理。该模型支持可变长度上下文与非因果预测视界,采用轴向注意力与分块扩散机制实现实时生成。

    推荐理由:该工作提出 FLEX-WAM,通过块因果架构与弹性训练解决长视界规划中的响应性问题,在仿真与真实机器人上实现稳定多步生成。

  12. arXiv · 机器人与计算机视觉82

    EvoMem-VLA:用于长程机器人操作的演化记忆视觉语言动作模型

    针对现有 VLA 模型依赖当前观测而丢失历史证据的局限,论文提出 EvoMem-VLA,通过显式编码状态间的变化来构建演化记忆,使策略能追踪任务进度。该方法引入条件 Delta Tokenization 将有序帧对编码为方向性标记,并利用共享 VLM 骨干网络实现任务自适应路由:长程任务走直接动作路线,多阶段任务则生成可执行子任务作为额外输入。

    推荐理由:提出 EvoMem-VLA,通过显式编码状态变化证据解决长程任务记忆缺失问题,在仿真与真实机器人上均优于现有最先进方法。

  13. arXiv · 机器人与计算机视觉82

    几何如何进入生成的运动?:视频生成模型对物理定律的偏离分析

    该研究通过固定物理定律和初始状态、仅改变首帧几何(如轨道起伏、障碍物高度)的方法,对比了九种图像到视频模型生成的轨迹与模拟器预测。结果显示,虽然局部几何被保留并影响速度等运动特征,但生成运动的演化系统性地偏离了固定物理定律:平均坡度无法有效加速小球,连续接触未能维持一致状态,且编辑操作能提前改变尚未到达物体的运动。此外,文本提示强控制目的地,片段长度强控制时序,该模式在实拍首帧下同样存在。

    推荐理由:论文通过固定物理定律与初始状态仅改变首帧几何的实验,揭示了当前视频生成模型在运动合成中如何偏离物理演化规律。

  14. arXiv · 机器人与计算机视觉78

    ReMAP:通过推理时间潜记忆恢复感知循环

    论文提出 ReMAP(Reasoning-Time Memory-Augmented Perception)框架,旨在解决多模态大语言模型长程推理时视觉注意力衰减的问题。

    推荐理由:提出 ReMAP 框架,通过全局与局部潜记忆耦合及强化学习访问策略,在多基准测试中显著优于现有方法并减少推理序列中的视觉 token。

  15. arXiv · 机器人与计算机视觉82

    PWM:基于在线强化学习的个性化世界模型

    针对预训练世界模型难以适配特定用户视频场景的问题,论文提出 PWM 框架,通过在线强化学习(GRPO)或扩散优化(DiffusionNFT)从短视频中定制交互式世界模型。

    推荐理由:提出 PWM 框架,利用在线强化学习从短视频定制交互式世界模型,在保持生成质量的同时实现场景个性化。

  16. arXiv · 机器人与计算机视觉82

    $R^2$-WAM:面向世界动作模型的修复与拒绝后训练方法

    针对世界动作模型(WAMs)预测结果可能与输入动作不一致的问题,本文提出$R^2$-WAM框架。该方法包含两阶段:首先利用运动学对齐分数将预测视频与机器人演示行为进行运动学对齐,确保预测未来忠实反映输入动作;随后比较采样动作与演示动作的想象结果,对任务进度低于参考基准的样本应用负向微调。

    推荐理由:提出$R^2$-WAM框架,通过运动学对齐修复预测视频并拒绝低质量样本进行负向微调,在RoboTwin 2.0上平均成功率达93.8%。

  17. arXiv · 机器人与计算机视觉78

    PatternDex:通过学习交互模式引导双臂灵巧操作铰链物体的强化学习方法

    论文提出 PatternDex 方法,旨在解决双臂灵巧手操作铰链物体时的具身差距问题。该方法观察到手与物体运动的相关性由物体决定而非手部,可从人类演示中学习并表示为交互模式序列。

    推荐理由:提出 PatternDex 方法,通过从人类演示学习手与物体运动的相关性(交互模式),引导强化学习策略实现双手动灵巧操作,在 Allegro 手上平均成功率达 92.8%。

  18. arXiv · 机器人与计算机视觉80

    少说假话,多说大话:LLM 机器人团队的隐蔽内部攻击研究

    当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。

    推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。

  19. arXiv · 机器人与计算机视觉84

    RoboIRS:一种用于通用机器人策略的推理时内部表征引导方法

    针对视觉语言动作(VLA)和世界动作(WAM)模型在分布外任务中表现下降的问题,本文提出 RoboIRS 方法,利用成功与失败的执行轨迹训练线性分类器以选择干预位置并推导特定任务的引导方向,无需更新策略参数。

    推荐理由:提出无需更新策略参数的推理时内部表征引导方法,在冻结策略下将仿真成功率从 44.4% 提升至 66.2%,并在真实机器人与世界模型上验证有效。

  20. arXiv · 机器人与计算机视觉78

    Frozen in a Frame:JEPA 世界模型的视盲点与修复方案

    论文指出联合嵌入预测架构(JEPAs)因仅基于无运动模糊的单帧渲染,导致其嵌入无法携带速度信息,从而形成结构性缺陷。研究在四个真实基准测试中证实了线性速度探测效果低于随机猜测,而位置探测表现良好。

    推荐理由:该研究揭示了 JEPA 架构因单帧渲染缺失速度信息的结构性缺陷,并提出轻量级解耦方案在物理环境中显著提升规划性能。