跳到正文
10月5日周一
  1. arXiv · 机器人与计算机视觉82

    DriftWorld:基于漂移生成的快速世界建模

    论文介绍 DriftWorld,一种基于漂移生成模型的行动条件世界模型,旨在解决扩散模型因多步迭代去噪而成本高昂的问题。该模型在训练中学习条件漂移,推理时仅需单次前向传播即可为给定动作序列生成未来观测。

    推荐理由:DriftWorld 通过漂移生成模型实现单次前向传播生成未来观测,在多个机器人基准上速度提升 12 倍以上且保持视觉质量。

  2. arXiv · 机器人与计算机视觉67

    ELSA3D:基于弹性语义锚点的统一 3D 理解与生成方法

    该论文提出了 ELSA3D 模型,通过弹性语义锚点机制解决文本与 3D 交互隐式的问题。模型利用感知尺度的八叉树分词器表示几何结构,引入稀疏跨模态锚点单元选择语义线索并路由至相关尺度,实现计算与推理的弹性分配。该方法在图像到三维生成、文本到三维生成及三维描述任务上达到最先进水平,相比非弹性版本将 FLOPs 和推理延迟减半。论文已被 NeurIPS 2026 接收。

  3. arXiv · 机器人与计算机视觉73

    基于速度场分歧的流式通用机器人策略不确定性量化方法

    针对通用机器人策略缺乏置信度量化机制的问题,本文提出利用小集成模型的速度场分歧(VFD)来高效量化认知不确定性。实验表明,该方法能更准确地预测下游性能并检测故障,准确率比现有方法高 8 个百分点;提出的 SAVE 方法结合不确定性引导的主动多任务微调,在固定演示预算下将三个真实任务的平均成功率从 39% 提升至 47%。

  4. arXiv · 机器人与计算机视觉70

    S2M-Trek:通过每帧深度集实现轮足机器人从单球到多球的无序集运输

    论文研究如何在无围栏、夹爪或机械止动条件下,将轮足四足机器人的动态运物能力从单个自由滚动球体扩展到多个同时运输的球体。针对标准历史拼接编码器无法显式处理每帧内球体顺序可变导致的置换对称性失配问题,作者提出 Per-Frame Deep Sets 架构,证明其具有帧间不变性并能通用逼近连续策略。

  5. arXiv · 机器人与计算机视觉78

    CROSS:一种抗变化的拓扑记忆用于长期重定位与语义导航

    论文提出 CROSS 方法,旨在解决机器人面对外观和场景变化时如何重用过去观测的问题。该方法在视觉地物识别与地图更新之间引入预承诺定位层,将 RGB-D 检索提升为候选全局 SE(3) 位姿模式,利用有界高斯混合滤波器结合里程计传播竞争轨迹分支,仅保留物理一致的持续分支进行闭环。

    推荐理由:CROSS 通过引入预承诺定位层,将模糊处理从离散 ID 移至连续位姿空间验证,在光照、季节及动态场景变化下提升稀疏记忆复用率。

  6. arXiv · 机器人与计算机视觉72

    通过混合大语言模型与符号规划及 LLM 引导强化学习实现新颖性适应

    针对动态开放世界中自主智能体因缺乏操作符而无法应对新物体的问题,本文提出一种神经符号架构,整合符号规划、强化学习与大语言模型(LLM)。该方法利用 LLM 的常识推理能力识别缺失的操作符,由符号 AI 规划器生成计划,并编写奖励函数引导强化学习智能体学习控制策略。研究在连续机器人操作任务中表现优于现有最先进方法。材料为预印本论文,已接受于 IEEE/RSJ IROS 2026。

  7. arXiv · 机器人与计算机视觉59

    FAME:一种用于扩大全尺寸人形机器人操作包络的自适应强化学习框架

    论文提出 FAME 框架,旨在解决全尺寸人形机器人在外部手部受力下保持平衡的问题。该方法通过隐式编码上肢关节构型与双手动交互力,利用刚体逆动力学在线重构交互力而无需腕部传感器。实验在 MuJoCo 厨房环境及 Unitree H1-2 真机上验证,在 150mm 容差下任务成功率达 38.9%,显著优于未编码力或仅基于姿态的基线策略。代码与视频已开源。

  8. arXiv · 机器人与计算机视觉35

    世界模型应遗忘什么:分层保留策略用于持续适应

    针对非平稳环境真值,提出基于不变性时间尺度的分层记忆保留机制,区分需永久保持的物理规律与随环境变化的实例事实。该方法通过联合报告不变量回归测试与修订延迟来评估性能,避免了传统指标将正确更新误判为灾难性遗忘的缺陷。该研究已被 NeurIPS 2026 持续世界模型研讨会接收,相关代码与数据开放许可待注册。

  9. arXiv · 机器人与计算机视觉42

    Self-Repairing Recurrent Ensembles 实现分布偏移下的实时策略自修复与遥操作学习

    Self-Repairing Recurrent Ensembles 方法让策略在传感器漂移或失效等分布偏移下,无需专家标签即可在线自我恢复性能。该方法利用随机掩码的循环网络集合与卡尔曼融合生成共识动作作为自监督标签,结合 RFLO 算法实现每步环境交互的参数更新。仿真连续控制任务显示,相比全观测集合无法恢复的情况,该框架能接近原始表现并支持有专家时的遥操作模仿学习。

  10. arXiv · 机器人与计算机视觉68

    VIGOR:基于潜空间一致性的零样本视觉泛化方法

    论文提出 VIGOR 框架,旨在解决基于模型的强化学习(MBRL)在面对背景变化、光照改变或相机位移等未见过的视觉干扰时性能下降的问题。该方法通过集成不对称弱到强增强、动力学层级一致性以及编码器层级稳定化三个组件,实现了在保留 MBRL 样本效率的同时具备零样本泛化能力。

  11. arXiv · 机器人与计算机视觉78

    ProWAM:一种基于渐进式视觉规划的世界动作模型

    该论文提出了 ProWAM(Progressive World Action Model),旨在解决现有世界动作模型在长视界预测中效率低及缺乏目标导向的问题。该方法联合预测动作与有序的稀疏视觉子目标,利用大规模无动作视频训练视觉骨干网络以卸载复杂规划任务,仅需轻量级去噪即可生成高效动作。

    推荐理由:提出 ProWAM 架构,通过稀疏子目标序列引导动作生成,在仿真与真实机器人零样本实验中均取得优于基线的结果。

  12. arXiv · 机器人与计算机视觉68

    面向生物控制的语言接口:细胞、类器官与生物机器人的离线提示词条件干预学习

    论文提出了一种完全离线的学习方法,利用视觉语言模型对已记录的生物干预及其观测结果进行匹配判断,以此作为唯一奖励来训练自然语言到生物干预的映射。该方法在 Xenobot 合成多细胞构造上实现了泛化能力,针对未见指令的测试集准确率达到 80.0%,与直接基于真值标签训练的基线网络持平(66.7% 为随机基准)。研究证明了无需新实验或人工验证即可建立语言对生物系统的控制接口。

  13. arXiv · 机器人与计算机视觉82

    GlanceWAM:稀疏测试时想象的世界 - 动作模型

    论文介绍 GlanceWAM,一种基于共享视频 DiT 骨干的异步世界 - 动作模型架构。该方法将视觉想象解耦为后台慢速时钟运行的异步提议器,在潜在空间解码动作块,从而打破同步生成带来的延迟瓶颈。

    推荐理由:该工作提出 GlanceWAM,通过异步解耦视觉想象与动作控制,在 RoboCasa 和 LIBERO 基准上实现实时推理与高成功率。

  14. arXiv · 机器人与计算机视觉65

    4DCodeBench:基于代码生成的动态场景逆图形智能体评测基准

    论文介绍 4DCodeBench 基准,旨在通过代码生成评估智能体从视频中重建动态场景的能力。研究涵盖变形、流体流动和断裂等物理现象的合成场景,发现前沿模型在静态重建上的优势尚未转化为对复杂动力学的可靠重建。该基准为追踪智能体通过代码解释世界动力学能力的进展提供了测试平台。

  15. arXiv · 机器人与计算机视觉68

    CORNAV:基于建筑图纸与进度的机器人导航推理框架

    针对建筑行业劳动力短缺与安全挑战,本文提出 CORNAV 框架,在不依赖建筑信息模型(BIM)的情况下,利用 2D CAD 图纸和进度表实现蓝图感知的导航。系统通过层级开放词汇 3D 场景图对齐建筑蓝图以定位物体,将项目进度转化为时间变化的导航约束,并利用基于大语言模型的安全模块在规划前过滤危险区域。

  16. arXiv · 机器人与计算机视觉53

    从自主演示生成到稠密语言监督:弥合前沿推理与机器人执行的鸿沟

    针对前沿大模型推理延迟限制实时控制的问题,研究提出了两种互补方法:一是利用前沿模型结合纠错片段自主生成演示以训练快速本地策略;二是引入涵盖初级、原子和复合三个层级的稠密语言监督。在 RoboCasa 365 和 BEHAVIOR-1K 等长周期任务中验证了该方法能提升指令遵循可靠性,并在固定时间预算的填字任务中评估了两者的结合效果。

  17. arXiv · 机器人与计算机视觉51

    WING:基于交互中心谱隐变量引导的世界动作学习框架

    针对从第一人称视频中迁移机器人操作知识的难题,本文提出 WING 框架,通过分离观察者运动与手物交互并蒸馏交互成分,利用频域中慢变时态结构对齐人与机器人的共享低频分量以指导动作生成。该方法在 LIBERO、RoboTwin 2.0 和 RoboCasa-GR1 等基准上分别达到 99.20%、93.80% 和 57.7% 的平均成功率,并在多种泛化设置下的真实世界操作任务中表现强劲。

  18. arXiv · 机器人与计算机视觉82

    AVL-JEPA:防止联合嵌入预测架构世界模型中的因果动力学信息坍塌

    论文指出 JEPA 虽能预测高层语义动态,但易丢弃动作的物理后果导致信息坍塌。作者提出 AVL 方法,利用执行动作作为动力学锚点并引入视觉不变性路径,强制模型保留并利用因果动力学信息。实验在四个机器人控制任务上验证了该方法在视觉扰动下显著提升成功率且保持清洁环境性能。

    推荐理由:针对 JEPA 在保留物理因果信息上的失效,提出动作锚定与视觉不变性路径的改进方案。

  19. arXiv · 机器人与计算机视觉82

    XGenAct:基于跨任务生成的几何增强世界动作模型

    arXiv 论文发布 XGenAct 模型,该工作旨在解决现有世界动作模型在机器人操作中对空间理解不足的问题。作者提出将 RGB、深度、法线和功能分割统一表示为 RGB 视频,利用单一视频扩散 Transformer 进行跨模态时序预测,无需特定模态的独立头。

    推荐理由:该预印本提出通过确定性编码器将深度、法线和功能分割统一为 RGB 视频,利用单一扩散 Transformer 进行跨模态时序预测。

  20. arXiv · 机器人与计算机视觉75

    MobiAgent:面向长视界移动操作的递归策略自改进框架

    论文介绍 MobiAgent 框架,旨在解决长视界移动操作中累积误差与运动控制干扰问题。其内环通过视觉语言模型进行滚动规划与视觉反思,利用流匹配专家执行原子技能以实现鲁棒恢复;外环则自动对部署流程进行分段验证、聚类发现新技能并持续微调技能库,无需人工标注。

  21. arXiv · 机器人与计算机视觉82

    NAVA-WAM:基于视频的原始动作先验学习用于世界动作模型

    论文介绍 NAVA-WAM 方法,旨在解决世界动作模型依赖动作标注数据可扩展性受限的问题。该方法直接从仅含观测的视频中预训练动作策略,无需间接表示迁移或单独的动作潜变量模型。

    推荐理由:提出 NAVA-WAM,通过原生动作先验直接从观测视频预训练策略,无需动作标注即可实现机器人控制。

  22. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:从视频学习高动态人形运动及统一鲁棒恢复

    论文提出 KungfuAthleteBot(KAB)框架,旨在解决将视频中丰富的高动态人类动作迁移到人形机器人时的物理不一致、缺乏执行信息及无法处理失败与恢复三大难题。

    推荐理由:该框架提出物理引导的轨迹修正与伪低动能采样机制,解决视频数据物理不一致问题,使机器人能从视频学习高动态动作并实现约 0.7 秒的统一策略跌倒恢复。

  23. arXiv · 机器人与计算机视觉73

    VISTA:一种用于接触丰富操作的等变视觉 - 触觉扩散策略

    针对接触丰富操作模仿学习需要高质量专家数据的问题,论文提出了 VISTA,这是一种工作空间级别的等变视觉 - 触觉扩散策略。该方法将视觉和触觉观测投影为球形 token,通过置换等变的球谐融合注入触觉接触线索,并利用末端执行器方向旋转融合后的谐波表示,从而条件化一个等变扩散策略以预测空间一致的动作。

  24. arXiv · 机器人与计算机视觉72

    物理量是否存在于激活中?视频扩散模型内部物理量的定位研究

    该论文探究视频生成模型(世界模型)是否内化了物理原理。作者对视频扩散 Transformer 的内部表示进行探测,发现运动学和刚体动力学等物理量在去噪过程早期即可高精度线性解码,且信息集中在物体相关 token 中并具备部分外推能力。研究还表明这些探测方向可作为 steering vectors 用于改变模型输出。材料为预印本论文,未涉及真实机器人部署或具体产品发布。

  25. arXiv · 机器人与计算机视觉48

    TerraVis:通过 MLLM 工作流评估文生图的世界一致性

    TerraVis 框架引入多阶段评估流程,利用 MLLM 检测并量化文生图模型在物体、交互及场景层面的世界一致性违规。该工具在两个基准测试上对开源与专有模型均实现最强的人机相关性,揭示高美学分数模型仍存在显著物理不合理性。代码已公开,论文已被 NeurIPS 2026 接收。

  26. arXiv · 机器人与计算机视觉74

    PointWAM:用于灵巧操作的 3D 世界动作建模

    论文介绍 PointWAM,一种将世界分解为场景和手并在共享时空坐标系中预测两者 3D 点轨迹的模型。该方法在大规模人类演示视频上进行预训练,无需任务特定的物体或关键点选择。实验显示,结合场景轨迹监督后,该模型在 DexJoCo 基准上的平均成功率提升显著,并在真实机器人上优于强视觉语言动作模型。材料为 arXiv 预印本,未提及同行评审状态或开源代码仓库。

  27. arXiv · 机器人与计算机视觉74

    Around the World:基于 270 g 连续旋转四足机器人的统一学习运动

    论文提出了一种在 270 克级 MiNI-Q 四足机器人上运行的闭环学习运动方案,利用连续旋转关节的构型范围,通过单一姿态条件强化学习策略实现直立行走、倒立行走及着陆恢复。该网络仅约 10 万参数,能跟踪前向速度并在释放试验中成功恢复行走,支持四种可互换脚部几何形状和四种室内表面。研究包含硬件实验与仿真消融分析,验证了表征选择对利用平台运动范围的有效性。

  28. arXiv · 机器人与计算机视觉58

    SymRegFlow:无新视角监督下的多视角一致视频世界模型

    论文 SymRegFlow 针对现有基于流匹配的多视角世界模型受限于固定相机机架的问题,提出一种无需真实新视角 RGB 监督的对称正则化框架。该方法通过几何变换将源视图映射为噪声锚点,结合掩码双锚点监督与跨锚点去噪输出一致性来缓解误差。

  29. arXiv · 机器人与计算机视觉72

    RoboChemGym:面向长周期化学操作的协议驱动生成式仿真框架

    针对具身智能在复杂化学实验中缺乏真实数据且现有仿真难以满足严格流程约束的问题,论文提出了 RoboChemGym 框架。该框架利用自改进任务合成机制,自主生成了与真实实验协议对齐的高保真操作演示,能够可靠地生成超过 10 步交互的专家轨迹。