跳到正文
10月9日周五
  1. arXiv · 机器人与计算机视觉78

    Memento 3:基于反思规则书的模型驱动递归自我改进

    论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。

    推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。

  2. arXiv · 机器人与计算机视觉72

    MultiWorldBench:独立控制的视角能否描述同一个共享世界?

    论文介绍 MultiWorldBench 这一基于 Minecraft 的多玩家世界模型诊断基准,包含 495 种配置及七套任务套件。评测显示 Gamma-World 在十项能力平均得分最高(21.39),Solaris 次之(20.88),MineWorld 最低(1.89),而参考引擎 Engine GT 得分为 91.69。

  3. arXiv · 机器人与计算机视觉73

    Dex-One2Many:从单个演示学习灵巧操作

    论文 Dex-One2Many 提出一种从单个人类视频学习通用灵巧操作策略的框架。该方法将视频抽象为序列场景图以指导强化学习,利用场景图作为生成约束采样多样化的重置状态并提供密集奖励。模型在仿真中训练后零样本迁移到真实多指手,在五个工具使用与操作任务上,所见配置下超越基线 6.5%,未见场景中差距扩大至 71%。材料为预印本论文,未报告真实机器人部署结果或具体实验条件细节。

  4. arXiv · 机器人与计算机视觉72

    3 万小时以自我为中心的视频未能教会世界模型的什么

    该论文评估了以自我为中心的 3 万小时视频数据对世界模型的作用,发现在分布外基准测试中,虽然智能体建模随数据量增加而提升,但物体交互保真度改善缓慢且差距巨大。研究指出单纯依靠数据扩展存在上限,需通过视觉条件设计将容量转向物体动态才能有效缩小差距,相关结论可迁移至人形机器人建模。

  5. arXiv · 机器人与计算机视觉58

    SpatialHarness:一种用于精细机器人操作的测试时空间辅助框架

    针对前沿多模态基础模型在精细操作任务中表现受限的问题,研究指出其根源往往在于物理相机设置导致的空间可观测性不足而非策略能力缺失。为此,团队提出 SpatialHarness 方法,该方法无需微调策略或改动物理感知硬件,通过维护与真实执行同步的在线仿真场景,识别关键空间关系并渲染互补虚拟视图以暴露给冻结的多模态策略。

  6. arXiv · 机器人与计算机视觉87

    VioLA:从人类数据中学习通用类人机器人控制策略

    论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。

    推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。

  7. arXiv · 机器人与计算机视觉75

    WorldCast:分布式多人世界模型

    这篇论文提出了 WorldCast 架构,旨在生成具有玩家与环境表示一致性的独立控制多视角视图。系统由运行视频生成器和状态模型的本地客户端组成,利用训练时的位置与地图几何信息估计玩家状态,并通过交换玩家状态及投影到相机对齐的场来指导渲染和维持跨视角的场景一致性。

  8. arXiv · 机器人与计算机视觉88

    ARC:一种用于机器人基础模型的推理配方

    该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。

    推荐理由:提出ARC推理配方,无需新增机器人数据即可通过自动标注与微调提升现有VLA基座模型的零样本任务成功率。

  9. arXiv · 机器人与计算机视觉42

    WorldAlign:解耦的 4D 奖励框架提升 Wan2.1/2.2 视频生成世界一致性

    WorldAlign 提出解耦 4D 奖励框架,通过几何先验优化静态区域、利用 VLM 评估动态主体,在无需人工偏好标注下实现在线后训练。该方法在 Wan2.1 和 Wan2.2 两个预训练图像转视频生成器上联合提升了静态与动态一致性,且未抑制整体或主体运动。

  10. arXiv · 机器人与计算机视觉60

    RiCo:通过局部接触推理进行刚体交互神经仿真

    论文介绍 RiCo 方法,该方法通过稀疏邻域内的接触表面点表示物体间交互,结合点的状态与邻近表面的相对几何、运动及物理属性进行推理。实验显示在 MOVi-benchmark 上相比基线减少 31-35% 的位置和姿态误差,并实现高接触保真度。方法支持从零样本小场景到包含 270 个物体的大场景泛化,且多球碰撞实验提供了初步的仿真到现实迁移证据。

  11. arXiv · 机器人与计算机视觉72

    通过空间语言建模统一策略学习与状态预测

    Minye Wu 等人提出 Spatial Language Modeling,利用离散坐标和语义 token 共享表示场景轮廓、目标及未来状态,并通过任务特定语法组织为空间序列。模型在仿真 Push-T 任务和真实机器人上均实现了具有竞争力的性能,且在真实机器人上的任务成功率和目标覆盖率优于基线策略。

  12. arXiv · 机器人与计算机视觉76

    UNITAS:首个原生 3D 的具身操作世界动作模型

    UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。

    推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。

  13. arXiv · 机器人与计算机视觉72

    HWAM:一种具备联合状态 - 动作生成的人形世界动作模型

    该论文提出了 HWAM(Humanoid World Action Model),旨在解决分层人形系统中策略参考动作与机器人实际运动之间的执行差距问题。HWAM 将执行后的本体感知状态作为显式预测目标,通过三条互补路径进行训练:仅基于当前观测的联合去噪、基于动作与执行后状态的视觉未来预测(前向动力学建模)以及从视觉过渡重建关节轨迹(逆向动力学建模)。

  14. arXiv · 机器人与计算机视觉58

    Reliability-Aware Future Conditioning:面向时序鲁棒性的机器人操作可靠性感知未来条件化

    论文指出生成的任务视频若与当前相位时序错位会转化为有害引导,导致成功率大幅下降。作者提出 Reliability-Aware Future Conditioning (RAFC),将其视为控制问题而非生成问题,在每一步估计对接收片段的信任度并选择合适的时间假设,无需时序对齐监督即可学习。

  15. arXiv · 机器人与计算机视觉59

    Right Screen, Wrong Transition: World Models as Verifiers for GUI Agents

    论文提出 LGWM,这是一个无需解码器、由动作条件的世界模型,能在观测编码的空间中直接预测下一屏幕的表征。该研究论证了世界模型应作为验证工具而非仅模拟器或规划器,通过向量比较判断过渡是否安全。作者在 RSWT-BENCH 上评估显示,其无训练分数达到 0.987 AUC,决策延迟为每步 17ms,显著优于生成式 GUI 世界模型和提示式 VLMs。

  16. arXiv · 机器人与计算机视觉73

    Seek-and-View:一种用于多视图空间理解的无需微调推理方法

    针对现有多视图空间推理依赖稀疏输入和语言对齐脆弱的问题,本文提出 Seek-and-View 推理框架及 Vantage 模型。该方法通过定位问题相关视角寻找隐式跨视图证据,并合成视觉信息以增强几何理解。实验在六个预训练视觉语言模型上验证了无需微调即可提升多基准表现的效果。代码与项目页面已公开。

  17. arXiv · 机器人与计算机视觉54

    面向物理动力学与相互作用的相位感知视频生成方法

    针对固气动力学及相互作用难以同时保持各相运动特征且需符合物理规律的挑战,论文提出 PAVG 模型。该模型采用双分支架构显式建模固体与气体动力学,利用时空交叉注意力捕捉物理交互,并构建了包含超 70 万条轨迹的仿真语料库覆盖多样场景。评估显示其在运动遵循度、物理合理性与视觉质量上优于现有方法。材料为预印本论文,未报告真实机器人部署结果。

  18. arXiv · 机器人与计算机视觉65

    PathTime-VLA:基于路径 - 时间解耦的视觉语言动作策略后训练方法

    针对传统视觉语言动作模型在固定时间间隔预测动作导致路径与执行速度耦合的问题,本文提出 PathTime-VLA 框架。该方法将运动表示为进度索引的交互路径与单调时间律,支持分阶段后训练:利用演示和 DAgger 建立目标域先验,通过 Speed-DQN 学习执行乘数,并利用 Path-AWR 优化扩散路径生成器。

  19. arXiv · 机器人与计算机视觉68

    Memory Forcing:面向流式视频生成的可关注中远期历史记忆方法

    该论文针对自回归视频扩散模型存在的‘中远期遗忘’问题,提出 Memory Forcing 方法,通过划分缓存区域和动态重索引技术,在固定显存下保留中间事件信息。实验显示该方法在 1.3B 参数规模下长片段表现领先,且成功扩展至 Wan2.2 5B 模型,生成了更具物理合理性和动态性的视频,是目前该方向首个公开的 5B 模型。

  20. arXiv · 机器人与计算机视觉62

    TAM:面向高效时空预测的任务感知记忆蒸馏方法

    该论文针对知识蒸馏中跨样本预测结构未被充分利用的问题,提出了 TAM 框架。该方法将冻结教师网络的知识组织为有界可检索的历史记忆,通过任务特定的选择规则匹配共享参考或回归残差原型,从而在视频预测、天气预报和交通流预测等多个任务上提升学生模型性能(如 SSIM 和 MSE),且仅在训练阶段使用辅助组件,不增加推理成本。

  21. arXiv · 机器人与计算机视觉72

    DAMP:基于去噪信念学习和对抗运动先验的类人机器人移动方法

    论文介绍 DAMP 框架,旨在在无感知信息条件下实现类人机器人在复杂地形上的稳健自然移动。该方法利用循环神经网络捕捉时间依赖并隐式推断任务相关潜在信息,通过表示对齐实现目标一致的策略学习。研究展示了从仿真到真实环境的迁移学习能力及泛化效果。

  22. arXiv · 机器人与计算机视觉69

    Learning to Retrieve:内化记忆检索的视频世界模型

    该论文提出 Learning-to-Retrieve (L2R) 方法,旨在解决现有视频世界模型依赖外部显式记忆系统的问题。该方法将持久内部状态作为历史上下文记忆,通过相机条件化的检索门控决定“检索什么”,并通过基于三维重可见性信号的触发器决定“何时检索”。

  23. arXiv · 机器人与计算机视觉35

    ACT³:一种融合语义与动力学信息的动作中心三流 Transformer

    ACT³是一种简单的动作中心三流 Transformer,通过逐层注意力机制将视觉语言模型(VLM)和世界模型(WM)表征融合进控制动作。该架构在保持上下文流独立前向传播的同时,允许两个骨干网络均通过控制监督进行更新。仿真与真实世界机器人操作基准实验表明,ACT³的表现优于其同类方法。

  24. arXiv · 机器人与计算机视觉58

    PlanWAM:面向端到端自动驾驶的规划形塑未来表征

    论文提出 PlanWAM(Planning-Shaped World Action Model),旨在解决现有世界模型未明确哪种未来表征对规划最有用这一问题。该方法利用时序寄存器金字塔压缩历史信息,并通过特权分支观察真值未来帧来塑造未来潜在表征,随后通过回顾到前瞻蒸馏训练仅依赖历史的先验分支进行预测。

  25. arXiv · 机器人与计算机视觉70

    SimVLA:面向移动操作的零样本仿真到现实视觉语言动作学习

    论文介绍 SimVLA 端到端框架,该模型完全基于合成仿真数据进行预训练和后训练,无需遥操作即可在真实家庭环境中实现移动操作任务的零样本迁移。研究通过 SimAction 和 SimVQA 数据集提供空间与几何监督,并在 restocking、pouring 等任务上优于依赖 50 次真实演示的策略。材料为 arXiv 预印本,未提及同行评审状态或具体开源代码仓库。

  26. arXiv · 机器人与计算机视觉68

    打破群组规模壁垒:基于舞者链的参数高效群舞生成

    该论文提出 ChainDance 框架,将群舞生成分解为独立的单舞者条件分布序列,解决了现有端到端方法受限于固定群组规模和身份纠缠的问题。在冻结的单舞者扩散主干基础上,引入角色感知文本编码器和群组感知运动编码器,利用无训练噪声优化确保全局空间一致性。实验表明该方法在保持个体身份的同时实现了最优的运动质量和群组协调性,参数量和训练时间均显著低于现有方案。