跳到正文
10月6日周二
  1. arXiv · 机器人与计算机视觉78

    Keepsake:面向长视界视频生成的选择性空间记忆方法

    论文介绍 Keepsake,一种无需训练、在线运行的固定容量空间记忆控制器。该方法针对长视界相机控制视频生成中场景一致性的维持问题,提出观测价值取决于内存库中替代方案数量的新视角。

    推荐理由:提出 Keepsake 控制器,通过构建姿态 - 外观图动态评估观测值,在固定内存预算下显著降低长视频生成的 FVD 指标。

  2. arXiv · 机器人与计算机视觉72

    KineWorld:一种用于具身世界建模的动作诱导运输场框架

    该论文提出了 KineWorld 框架,旨在改进具身世界模型对动作后果的预测能力。针对现有方法在视觉生成上采用均匀加权目标而忽视空间稀疏变化(关键交互信息)的问题,作者提出通过运动学运输提升(KTL)从机器人指令构建相机对齐的运输场,并利用运输感知世界扩散(TAWD)校准视频潜网格上的运动支撑及重新加权未来 RGB 流匹配。

  3. arXiv · 机器人与计算机视觉82

    Encoded but Not in Control:揭示视觉语言机器人策略中的 grounding gap

    该论文通过场景保持的指令干预实验,发现 VLA 和世界动作模型(WAM)在仿真与实机中虽能成功执行任务,却常忽略用户指令而选择场景偏好的原始目标。线性探针显示指令被编码但难以控制动作生成,注意力分析证实了视觉 grounding 不匹配问题。研究提出了一套诊断框架,为衡量策略是否真正遵循意图变化提供了具体标准。

    推荐理由:研究揭示 VLA 与 WAM 存在指令编码与控制脱节,提出基于场景干预的诊断框架以评估真实意图遵循能力。

  4. arXiv · 机器人与计算机视觉78

    I-BFM:基于奖励条件的人形机器人鲁棒交互行为基础模型

    论文介绍 I-BFM,据称是首个针对人形机器人与物体交互的行为基础模型(BFM)。该模型利用前向 - 后向表示和无监督强化学习,学习人形、物体及其接触点之间的耦合动力学共享表征。

    推荐理由:该工作提出首个面向人形机器人与物体交互的行为基础模型,通过无监督强化学习实现单一策略对多种任务的闭环控制。

  5. arXiv · 机器人与计算机视觉84

    Conditional Trajectory Peaks:单次通过多模态策略框架

    论文提出了 Conditional Trajectory Peaks (CTP) 框架,旨在解决多模态模仿学习中同一观测下需生成多样化可执行未来及重规划周期行为一致性的问题。

    推荐理由:该工作提出单次通过多模态策略框架,在多个基准及真实双臂实验中验证了其在覆盖度、成功率与推理延迟上的综合优势。

  6. arXiv · 机器人与计算机视觉82

    自适应均值流:面向高响应闭环控制的机器人策略新方法

    针对扩散与流基机器人策略因迭代去噪导致预测延迟、阻碍高频闭环控制的问题,本文提出自适应均值流(AMF)方法。该方法利用加速的流匹配技术最小化延迟,并通过结合上一时刻轨迹的噪声版本来确保预测平滑性与一致性,在模拟及真实机器人任务中显著优于基线。代码已开源。

    推荐理由:提出自适应均值流方法解决扩散策略延迟问题,实现高响应闭环控制。

  7. arXiv · 机器人与计算机视觉72

    P3:用于受限扩散控制的持久粒子规划

    该论文介绍了一种名为 P3 的序列蒙特卡洛框架,旨在解决将扩散模型先验适配到测试时约束的问题。该方法通过维护加权候选计划种群,在重规划步骤中移位和部分重新噪声化轨迹,并在最新观测下细化这些轨迹。研究证明重新噪声化的深度控制保持路径的可靠性,且保留稀有分离路径比从头采样更高效。实验表明,人口复用减少了路线切换并提高了成功率而不违反约束。代码和预训练模型已公开。

  8. arXiv · 机器人与计算机视觉42

    MIMo 婴儿模拟器扩展:MuJoCo 平台生成社交互动中的触觉与视觉第一人称数据

    该研究在 MuJoCo 中扩展了多模态婴儿模型(MIMo),引入可动护养者以复现抱持与安抚等双人互动,并记录婴儿视角的触觉与视觉流。系统通过原点感知接触日志区分自我、护养者与环境的接触,支持生成用于社会交互发育建模的多模态数据集。

  9. arXiv · 机器人与计算机视觉82

    Bilinear Flow Policy:面向未见目标的视觉运动模仿学习新框架

    针对条件模仿学习中面对未见目标时多模态行为坍缩的问题,本文提出 Bilinear Flow Policy(BFP)。该方法利用预训练视觉特征和新型锚点选择算法,将未见观测 - 目标对分解为熟悉锚点与残差项,并通过双线性流建模其联合决定的动作分布。

    推荐理由:提出结合归纳检索与双线性流的生成策略,在仿真中实现比基线高 2.63 倍的未见目标成功率。

  10. arXiv · 机器人与计算机视觉82

    HLA-WM:一种用于长视界视频世界模型的无训练混合线性注意力框架

    针对 Gated DeltaNet 在长序列生成中的遗忘问题,该研究提出 HLA-WM 框架,结合粗粒度几何引导检索与细粒度循环线性状态计算,无需额外训练即可提升场景一致性。实验显示,该方法在 60 秒视频基准测试中将 PSNR 提升 0.74 dB、旋转误差降低 28.5%,并将历史状态显存占用减少至全 KV 缓存的 1/12,同时仅损失最多 1.6% 推理吞吐量。

    推荐理由:该工作提出无需训练的混合线性注意力框架,在长视频生成中显著降低显存占用并提升场景一致性。

  11. arXiv · 机器人与计算机视觉48

    GenAIF 生成式主动推断控制模型基准评测:扩散模型在 MuJoCo 多物理条件下表现最强,CVAE 推理更快

    GenAIF 框架利用生成轨迹模型从演示中学习,为复杂系统提供目标条件策略分布及状态观测似然映射。研究在 MuJoCo 操作任务中对比了扩散、自回归 Transformer、CVAE 和流匹配模型,发现扩散模型在多物理条件下控制效果最强,而 CVAE 兼具相近短时预测精度与更快的推理速度。该工作已接受于 IWAI 2026,代码开源,揭示了持续推断仍是待解决挑战。

  12. arXiv · 机器人与计算机视觉44

    扩散模型组合生成航天器交会轨迹:满足多约束且无需重训练

    该研究提出一种基于扩散模型的轨迹生成方法,通过组合学习到的接近锥与传感器视向等独立能量模型来灵活配置任务约束。实验验证显示,组合框架在满足约束率上仅比单约束模型低 1 个百分点以内,实现了无需重新训练即可重构新约束组合的模块化设计。

  13. arXiv · 机器人与计算机视觉82

    FLEX-WAM:用于长视界想象与规划的灵活块因果世界动作模型

    arXiv 论文介绍了一种名为 FLEX-WAM 的灵活高效块因果世界动作模型,旨在统一模拟与策略推理。该模型支持可变长度上下文与非因果预测视界,采用轴向注意力与分块扩散机制实现实时生成。

    推荐理由:该工作提出 FLEX-WAM,通过块因果架构与弹性训练解决长视界规划中的响应性问题,在仿真与真实机器人上实现稳定多步生成。

  14. arXiv · 机器人与计算机视觉82

    EvoMem-VLA:用于长程机器人操作的演化记忆视觉语言动作模型

    针对现有 VLA 模型依赖当前观测而丢失历史证据的局限,论文提出 EvoMem-VLA,通过显式编码状态间的变化来构建演化记忆,使策略能追踪任务进度。该方法引入条件 Delta Tokenization 将有序帧对编码为方向性标记,并利用共享 VLM 骨干网络实现任务自适应路由:长程任务走直接动作路线,多阶段任务则生成可执行子任务作为额外输入。

    推荐理由:提出 EvoMem-VLA,通过显式编码状态变化证据解决长程任务记忆缺失问题,在仿真与真实机器人上均优于现有最先进方法。

  15. arXiv · 机器人与计算机视觉58

    arXiv:未建模状态依赖下的最优控制——结合学习评论家的模型预测控制框架

    论文提出一种基于学习的 MPC 框架,通过残差动力学网络补偿不完整动力学并引入学习动作价值评级的长期 MDP 结构,以解决接触等难建模任务。系统集成了 GPU 加速的批量 iLQR 求解器,在机器人仿真环境中验证了该方法在偏置和未完全建模控制任务中提升闭环性能且保持模型结构的可行性。材料为 arXiv 预印本,发表于 CoRL 2026,未报告真实机器人部署结果或同行评审状态。

  16. arXiv · 机器人与计算机视觉72

    Long-MDR:面向长上下文的强化学习与多模态深度研究智能体

    On Tai Tang 等人提出了 Long-MDR,这是一种专为长上下文(128k)和多模态交互(75+ 轮工具调用)设计的在线强化学习训练配方。针对早期策略弱导致资源浪费、后期熵坍塌导致学习过早结束的问题,该方法结合了同策略蒸馏预热、渐进式视界扩展和熵触发救援三种技术。

  17. arXiv · 机器人与计算机视觉82

    几何如何进入生成的运动?:视频生成模型对物理定律的偏离分析

    该研究通过固定物理定律和初始状态、仅改变首帧几何(如轨道起伏、障碍物高度)的方法,对比了九种图像到视频模型生成的轨迹与模拟器预测。结果显示,虽然局部几何被保留并影响速度等运动特征,但生成运动的演化系统性地偏离了固定物理定律:平均坡度无法有效加速小球,连续接触未能维持一致状态,且编辑操作能提前改变尚未到达物体的运动。此外,文本提示强控制目的地,片段长度强控制时序,该模式在实拍首帧下同样存在。

    推荐理由:论文通过固定物理定律与初始状态仅改变首帧几何的实验,揭示了当前视频生成模型在运动合成中如何偏离物理演化规律。

  18. arXiv · 机器人与计算机视觉78

    ReMAP:通过推理时间潜记忆恢复感知循环

    论文提出 ReMAP(Reasoning-Time Memory-Augmented Perception)框架,旨在解决多模态大语言模型长程推理时视觉注意力衰减的问题。

    推荐理由:提出 ReMAP 框架,通过全局与局部潜记忆耦合及强化学习访问策略,在多基准测试中显著优于现有方法并减少推理序列中的视觉 token。

  19. arXiv · 机器人与计算机视觉38

    Code2Games:构建游戏世界生成智能体框架与基准评测

    Code2Games 是一个智能体框架,基于 Blender 生成的基础世界构建结构化游戏场景,并通过执行引导的重建过程适配 Unreal Engine 5。该框架引入 GameCode4D 基准,包含十个固定提示词以评估视觉质量、交互保真度等多维度指标。实验显示,相比直接生成及现有基线方法,Code2Games 在视觉质量和交互保真度上表现更优且能提升引擎适配后的游戏质量。

  20. arXiv · 机器人与计算机视觉63

    EMBER-Bench:长程具身任务的跨事件因果记忆评测基准

    作者构建了 EMBER-Bench 基准,包含 189 个家务任务和 699 对问答,涵盖任务进展、故障恢复及外部干预等场景,并标注了细粒度事件与因果链。评测显示最高模型准确率仅为 61.2%,且历史回溯正确性与下一步动作预测无关联,表明从过去事件中提取因果信息并将其转化为当前行动约束仍是长程具身智能的关键难题。

  21. arXiv · 机器人与计算机视觉82

    PWM:基于在线强化学习的个性化世界模型

    针对预训练世界模型难以适配特定用户视频场景的问题,论文提出 PWM 框架,通过在线强化学习(GRPO)或扩散优化(DiffusionNFT)从短视频中定制交互式世界模型。

    推荐理由:提出 PWM 框架,利用在线强化学习从短视频定制交互式世界模型,在保持生成质量的同时实现场景个性化。

  22. arXiv · 机器人与计算机视觉72

    PreAct-Nav:行动前的代理推理用于城市导航

    针对现有代理导航方法难以将远距离目标转化为连贯局部决策的问题,本文提出 PreAct-Nav 框架。该框架通过冻结策略结合记忆模块维持活跃子目标,并利用基于动作的世界模型预测环境动态以评估后果,随后利用视觉语言模型解释器在子目标下修正行动。实验表明该方法通过记忆更新和视觉预测显著提升了长路线和多转弯场景下的导航性能。

  23. arXiv · 机器人与计算机视觉82

    $R^2$-WAM:面向世界动作模型的修复与拒绝后训练方法

    针对世界动作模型(WAMs)预测结果可能与输入动作不一致的问题,本文提出$R^2$-WAM框架。该方法包含两阶段:首先利用运动学对齐分数将预测视频与机器人演示行为进行运动学对齐,确保预测未来忠实反映输入动作;随后比较采样动作与演示动作的想象结果,对任务进度低于参考基准的样本应用负向微调。

    推荐理由:提出$R^2$-WAM框架,通过运动学对齐修复预测视频并拒绝低质量样本进行负向微调,在RoboTwin 2.0上平均成功率达93.8%。

  24. arXiv · 机器人与计算机视觉59

    基于技能级世界模型的流策略作为动作:用于长视界规划的习得与符号抽象

    该论文提出利用流匹配(flow-matching)策略构建技能级动作,将噪声种子和观测映射为完整技能执行,以此缩短长任务规划所需的预测步骤并减少误差。研究在仿真块重排任务中评估了四种从低到高的动作抽象层级:压缩种子、两个离散习得代码以及符号标签。

  25. arXiv · 机器人与计算机视觉78

    PatternDex:通过学习交互模式引导双臂灵巧操作铰链物体的强化学习方法

    论文提出 PatternDex 方法,旨在解决双臂灵巧手操作铰链物体时的具身差距问题。该方法观察到手与物体运动的相关性由物体决定而非手部,可从人类演示中学习并表示为交互模式序列。

    推荐理由:提出 PatternDex 方法,通过从人类演示学习手与物体运动的相关性(交互模式),引导强化学习策略实现双手动灵巧操作,在 Allegro 手上平均成功率达 92.8%。

  26. arXiv · 机器人与计算机视觉80

    少说假话,多说大话:LLM 机器人团队的隐蔽内部攻击研究

    当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。

    推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。

  27. arXiv · 机器人与计算机视觉69

    TTT-RM:作为机器人策略的残差记忆的测试时训练

    针对长周期机器人操作中全量历史存储成本过高的问题,本文提出 TTT-RM 方法,将测试时训练(TTT)重构为残差记忆机制。该方法通过快速权重学习当前观测无法解释的历史信息残差,以此作为优化目标更新慢权重,从而在有限内存库之外补充关键历史信息。实验表明,该策略在仿真基准和真实世界任务中均优于多种基线,并支持持续执行长达三分钟的八阶段储物任务。

  28. arXiv · 机器人与计算机视觉84

    RoboIRS:一种用于通用机器人策略的推理时内部表征引导方法

    针对视觉语言动作(VLA)和世界动作(WAM)模型在分布外任务中表现下降的问题,本文提出 RoboIRS 方法,利用成功与失败的执行轨迹训练线性分类器以选择干预位置并推导特定任务的引导方向,无需更新策略参数。

    推荐理由:提出无需更新策略参数的推理时内部表征引导方法,在冻结策略下将仿真成功率从 44.4% 提升至 66.2%,并在真实机器人与世界模型上验证有效。

  29. arXiv · 机器人与计算机视觉78

    Frozen in a Frame:JEPA 世界模型的视盲点与修复方案

    论文指出联合嵌入预测架构(JEPAs)因仅基于无运动模糊的单帧渲染,导致其嵌入无法携带速度信息,从而形成结构性缺陷。研究在四个真实基准测试中证实了线性速度探测效果低于随机猜测,而位置探测表现良好。

    推荐理由:该研究揭示了 JEPA 架构因单帧渲染缺失速度信息的结构性缺陷,并提出轻量级解耦方案在物理环境中显著提升规划性能。

  30. arXiv · 机器人与计算机视觉82

    DreamFormer:一种用于语言条件化机器人操作的 Transformer 世界模型模仿方法

    论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。

    推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。

  31. arXiv · 机器人与计算机视觉66

    TAME:跨异构人形骨骼的拓扑感知文本驱动运动编辑

    arXiv 发布 TAME 方法,这是一种流匹配 Transformer,用于根据文本指令修改现有运动序列并保留源内容。该方法针对单一固定骨骼结构的局限,通过拓扑约束骨架传播和编辑聚焦表示对齐策略,支持不同关节数和层级的人形角色。研究构建了 TopoMotionFix 数据集以评估已知与未知拓扑结构下的性能,结果显示其在动作对齐和源保留方面优于先前方法。

  32. arXiv · 机器人与计算机视觉72

    Video2World:基于具身视频的编码代理交互式世界建模基准

    Video2World 是一个包含 189 个机器人和人类演示视频、共 222 个重建实例的基准,用于评测前沿基础模型和编码代理在自动化构建交互式仿真环境方面的能力。该研究将自主视频到仿真的过程定义为软件工程任务,通过执行反馈迭代优化结果。评测结果显示,从 Claude Opus 5 开始任务成功率显著提升,但视觉保真度高的世界并不总是能带来更高的任务成功,反映了感知现实与事实正确性之间的差距。