跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉42

    PAIR:基于 Matter 协议的智能家居仿真环境与基准测试

    PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。

  2. arXiv · 机器人与计算机视觉65

    RelayWAM:让未来预测性表征可被利用的机器人世界模型方法

    针对现有世界动作模型(WAMs)在推理时丢弃未来预测、导致深层视觉层学到的预测信息未被动作路径有效利用的问题,本文提出 RelayWAM 架构。该方法引入显式过渡空间,基于任务指令和当前状态提取跨深度的步相关预测线索并直接传递至动作注意力机制,无需生成未来帧。

  3. arXiv · 机器人与计算机视觉75

    Sim2CBF:从正向仿真到无模型导数的隐式控制屏障函数安全过滤

    针对复杂机器人环境交互中底层动力学难以建模且预测模型导数不可靠的问题,该研究提出 Sim2CBF 框架。该方法仅利用前向模型评估解决控制屏障函数(CBF)安全滤波优化问题,通过有限差分和对采样控制输入的局部线性插值近似 CBF 约束,同时保持避错保证。

  4. arXiv · 机器人与计算机视觉82

    随机多样性窗口:诊断机器人扩散采样中的噪声影响

    该论文针对机器人控制中扩散模型的随机性作用研究不足的问题,引入每步反事实诊断以测试采样噪声对最终输出的影响。研究发现不同配置下噪声诱导的偏差在下游可能放大、收缩或衰减,据此定义“随机多样性窗口”并应用针对性干预策略。实验显示,利用低影响区域替换 DDPM 步骤为 DDIM 跳步,可将网络评估减少最多 40-60%,时钟时间减少最多 85%,且在保持可行性、成本和多样性方面未发现一致变化。

    推荐理由:提出随机多样性窗口诊断方法,揭示去噪过程中噪声影响的时间敏感性,并通过采样干预实现推理加速。

  5. arXiv · 机器人与计算机视觉48

    Anchored Path Matching 蒸馏世界动作模型提升双臂操作效率

    Anchored Path Matching(APM)通过监督端点与短过渡预测,在 RoboTwin 2.0 上实现一步生成即支持多步联合推理。该方法在 Clean 演示集上将闭环成功率较基线提升 2.0 个百分点,视频 PSNR 从 30.169 升至 32.317 dB。真实机器人实验中,APM 相比八步教师模型将控制周期延迟降低 21.3 倍。

  6. arXiv · 机器人与计算机视觉56

    FailureGen:基于世界模型的机器人故障数据规模化生成方法

    该论文提出 FailureGen 方法,通过微调动作条件化的 Cosmos 世界模型,将记录的真实失败执行轨迹迁移到成功宿主上下文中,生成带有时间事件标注的合成视频以扩充故障场景数据。初步实验显示,结合合成数据的检测器平均精度为 0.51,优于仅用真实数据的 0.41,且能检测到更多故障区间。材料为预印本论文,未报告真实机器人部署结果或具体开源仓库。

  7. arXiv · 机器人与计算机视觉83

    ReLAP:基于 JEPA 空间的循环视频预测进行潜在动作预训练

    论文介绍 ReLAP 框架,该框架在冻结的 JEPA 表示空间内耦合局部逆动力学学习与循环多步预测。共享逆动力学模型从相邻观测推断紧凑连续潜在动作,而潜在世界模型递归预测未来 JEPA 特征以鼓励时间连贯的动态。

    推荐理由:该工作提出在冻结 JEPA 空间内结合局部逆动力学与循环多步预测的潜在动作预训练框架,并在 LIBERO 基准上取得 SOTA 表现。

  8. arXiv · 机器人与计算机视觉78

    DreamFAR:一种支持实时与长视界交互的多样化物体世界模型

    论文提出了 DreamFAR 世界模型,其动力学模型完全基于大规模机器人遥操作数据从头训练,未使用互联网视频预训练。该架构专为机器人原生数据设计,体积显著小于高性能视频生成模型,在商业 GPU 上运行速度达 10 FPS。实验表明,DreamFAR 在预测长视界未来及理解接触与因果关系方面优于现有模型,并展示了策略评估与混合数据协同训练等应用潜力。

    推荐理由:该工作提出无需互联网预训练的机器人原生世界模型,在长时序接触预测上优于现有方法。

11月17日周二
  1. arXiv · 机器人与计算机视觉38

    World-Model Gradient Refinement in CEM:一项实证研究

    该研究通过仅替换首模型排名精英集为环境排名精英集的固定状态干预,使 Walker/Cheetah 任务中选定序列的实现追踪成本在所有 12 个种子单元均降低。跨 32 项任务的 52 个冻结 TD-MPC2 检查点对比显示,在改进显著的 10 个检查点上平均收益为 67.8 分(95% CI [31.9, 103.6]),其余 42 个仅提升 0.2 分。

  2. arXiv · 机器人与计算机视觉65

    Rollback-Induced Reflection:面向长程 LLM 智能体的回滚诱导反思方法

    针对多步环境交互中单点错误导致状态改变且经验丢失的问题,提出 Rollback-Induced Reflection (RIR) 框架。该方法将可靠恢复定义为联合决定干预时机、恢复位置及保留信息的边界控制问题,在回滚至选定先验状态的同时,蒸馏废弃轨迹中的可复用知识以指导后续决策。实验表明,该结构化反思记忆与选择性回滚机制能提升多个 LLM 骨干网络在长程基准任务上的平均性能。

  3. arXiv · 机器人与计算机视觉68

    VANDERER:基于未来感知与视觉好奇心的无图探索扩散策略

    论文提出了 VANDERER 框架,旨在解决移动智能体在无地图环境下的自主探索问题。该方法利用单目图像数据,通过视觉好奇心模块(VCM)预测导航世界模型中的动作结果并计算好奇心成本,以此引导预训练的扩散策略生成最大化探索效率的动作。实验表明,该框架在多种仿真环境中表现优于前沿搜索等基线方法,实现了 2.3 倍的探索效率提升,验证了视觉与几何好奇心在户外环境中的关联性。

  4. arXiv · 机器人与计算机视觉75

    NeurIPS 2026:Simulation-Informed Diffusion 用于去中心化多机器人运动规划

    论文介绍 Simulation-Informed Diffusion(SID),一种基于约束感知扩散模型的去中心化框架,通过模拟邻域机器人的未来轨迹来指导自身规划并仅在拥堵时触发协调。实验显示该方法在规划有效性和约束满足上优于基线,可扩展至 108 个机器人和 160 个障碍物的场景。材料为 NeurIPS 2026 论文,链接指向 arXiv 预印本。

  5. arXiv · 机器人与计算机视觉70

    OA-WAM:一种面向鲁棒机器人操作的物体可寻址世界动作模型

    针对标准世界动作模型在视角或布局变化时性能骤降的问题,该研究提出 OA-WAM,通过固定于回合的身份地址定位对象并读取其状态变化。模型在预训练多模态主干的每一层中,物体槽位键仅依赖地址和帧位置,值携带当前状态;同一地址同时索引动作指针和逐对象预测,可触发重定位。

  6. arXiv · 机器人与计算机视觉72

    DYMO-Hair:面向多模态目标条件化的机器人理发动作学习

    论文介绍 DYMO-Hair 系统,通过预训练分层 3D 体素潜空间建模梳子引起的头发形变,结合物理仿真器实现大规模预训练以泛化至未见发型。该系统耦合模型预测路径积分规划器,支持视觉参考和自然语言指令的闭环理发动作。实验显示其在几何误差和用户评分上优于基线系统,并在七种不同属性的真实假发上实现了零样本迁移,无需微调即可达成目标。

  7. arXiv · 机器人与计算机视觉78

    用单子表示微分包含:一种用于组合式控制器合成的框架

    该论文针对混合与非光滑机器人系统的控制器安全认证问题,构建了基于 Filippov 正则微分包含的轨迹单子框架。其核心贡献是将控制屏障函数(CBF)认证转化为子单子结构,证明联合安全性仅需满足一个代数条件,解释了为何平滑交集支持安全合成而分阶段强制则不然。

    推荐理由:提出轨迹单子框架将混合系统控制器合成简化为代数条件,并推导失效率模型与验证结果。

  8. arXiv · 机器人与计算机视觉73

    Lazy-MOSAIC:通过学习到的技能效果世界模型加速以技能为中心的操纵规划

    针对长视界操纵任务中基于高保真物理模拟器评估每个候选技能的计算成本问题,本文提出 Lazy-MOSAIC 框架。该方法利用廉价学习到的技能效果世界模型预测技能的可行性及产生的世界状态,仅对有希望的候选技能进行昂贵仿真验证,并在假设被证伪时仅修复受影响的搜索部分。

  9. arXiv · 机器人与计算机视觉73

    BoBDeLaN:用于深度拉格朗日机器人控制的有界带宽上下文适应方法

    该论文提出 BoBDeLaN 架构,结合收缩增益受限的循环平衡网络上下文编码器与稳定线性滤波,以塑造不同频率下的扰动敏感性并保证指数级遗忘。研究在仿真及真实硬件操作中评估了低通实现于模型预测控制的效果,相比同等输入滤波器的 LSTM 编码器,该方法在高频上下文敏感性、残差扭矩预测误差及抗注入扰动退化方面表现更优。

  10. arXiv · 机器人与计算机视觉42

    EviBridge:编码预测视觉证据以支持主动交互

    EviBridge 框架将冻结的 V-JEPA 2 编码器特征映射至语言解码器,用于工具交接任务中的状态与工具联合预测。在 FuGIBench 基准测试中,最佳变体整体得分达 0.6448 和 0.5892,显著优于各自的任务自适应原生基线(0.2178 和 0.5327)。该成果涵盖目标交接、长时间等待及取消请求场景,验证了预测视觉证据对交互决策的价值。

  11. arXiv · 机器人与计算机视觉73

    基础模型时代的机器人奖励模型:分类、差距与开源基准

    该论文综述了利用基础模型的机器人奖励模型(RRM),将其按输出语义分为五类,并指出当前评估器难以区分任务完成度与执行时序的缺口。为此,作者构建了包含 1,117 条闭环真实视频的新基准 RRM-Bench-1K 及开源工具集 RRM-Hub,支持对 27 种现有评估器的统一测试与新方法验证。

  12. arXiv · 机器人与计算机视觉82

    XMimic 和 XSoma:在不到一分钟内学习类人机器人的运动追踪与移动

    论文提出了 XMimic 和 XSoma 两个模型,利用世界模型优化策略并通过并行计算将类人机器人在粗糙地形的运动追踪与移动训练时间压缩至一分钟以内。

    推荐理由:原文介绍了利用世界模型与并行计算将类人机器人运动追踪训练压缩至一分钟内的方法,相关团队可据此评估其加速潜力。

  13. arXiv · 机器人与计算机视觉78

    MoViC:基于单目视频的实时人形机器人全身控制

    论文提出了 MoViC 框架,利用无穿戴设备的单目 RGB 视频流作为信号,通过单目人体运动重建、机器人重定向及 Transformer 行为基础模型实现实时全身模仿。策略融合本体感知历史与显式下一步参考,采用频域运动表示降低输入维度;部署时通过外推方法桥接 10Hz 视觉估计与 50Hz 控制器以支持异步处理。实验展示了在单目 RGB 输入下对双手动及单手操作任务的高动态跟踪与无设备遥操作能力。

    推荐理由:该工作提出无需穿戴设备的单目视频实时全身控制框架,结合运动重建与行为基础模型实现动态任务。

  14. arXiv · 机器人与计算机视觉78

    DiffWAM:从连续视觉差异中学习世界动作模型

    论文提出了 Difference World Action Model (DiffWAM),这是一种混合专家框架,旨在解决未来状态预测中任务无关内容干扰的问题。

    推荐理由:该工作提出 DiffWAM 框架,通过联合学习未来状态与连续视觉差异来增强表征,在 LIBERO 和 RoboTwin 2.0 基准上取得最先进性能。

  15. arXiv · 机器人与计算机视觉87

    JEPA4R:基于 4D 点规划的具身 JEPA 世界模型

    该预印本提出 JEPA4R,一种在冻结的 JEPA 世界模型上运行的具身智能架构,通过单目深度相机观测点云并在其潜在空间进行预测与规划(即 4D 点规划)。解码器可将想象内容可视化为平均误差小于 1.1 厘米的 4D 点云。

    推荐理由:该预印本提出 JEPA4R,在数字孪生中训练即可零样本迁移至真实机械臂,并在多个基准上优于像素级 JEPA 模型。

  16. arXiv · 机器人与计算机视觉63

    残差复用:流匹配世界动作模型中的缓存或去噪更少?

    论文研究在 Fast-WAM 6B 参数世界动作模型上,比较跨周期缓存(C$^3$ache)与减少去噪步数的策略。实验显示,保留两个未缓存步骤可在所有初始状态下保持不低于十步的成功率,且将重规划调用时间从 202ms 降至 92ms。研究指出缓存策略脆弱,覆盖路径比例过高会导致成功率下降,并建议测试复用时应基于部署时的采样器和噪声设置。作者开源了评估工具、日志和检查清单。

11月16日周一
  1. arXiv · 机器人与计算机视觉13

    从 AI 赋能远程患者监护迈向代理型机器人:具身化、治理与照护整合综述

    该结构化范围综述发现,成熟的代理型医疗照护尚未出现,多数系统仍由人类主导,强化决策 - 行动耦合及具身智能主要局限于原型机与试点项目。研究提出将代理型机器人作为受监督系统的未来方向,通过可审计工作流连接 AI 智能体、机器人与临床人员,确保人类监督与明确治理。该成果已接受发表于《控制、机器人与自主系统年刊》2027 年第 10 卷。

  2. arXiv · 机器人与计算机视觉48

    基于显式约束空间的通用安全感知机器人行为规划方法

    针对桌面环境安全约束依赖场景且指令未明确指定的挑战,该研究提出一种集成显式约束空间存储、任务与环境条件化适用性学习及多模态安全检查的行为规划框架。系统通过轻量级双塔模型识别适用约束,利用多模态安全检查器评估并修正初级计划,结合 LoRA 进行测试时自适应与参数高效微调以应对未知风险。该框架实现了显式安全知识表示、上下文感知选择、纠错检查及知识自适应的闭环整合,旨在提升机器人行为规划的安全性。

  3. arXiv · 机器人与计算机视觉78

    Grounding Object-to-Object Hazard Reasoning into 3D Risk Fields for Task-Conditioned Safety

    该论文提出一种基于视觉语言模型(VLM)的机器人操作安全框架,旨在处理几何约束之外的语义安全问题。系统首先通过结构化安全工具判断任务是否因可能导致不可恢复的危害而应被拒绝;若可执行,则识别物体对之间的可预防危害并指定需避免的空间关系。

    推荐理由:该框架利用 VLM 将任务语义与物体交互风险映射为连续三维风险场,结合避障模块在仿真与现实环境中验证了可预防性危害的识别能力。

  4. 盖世汽车 · 汽车资讯70

    大晓机器人发布ACE-CaP-0模型,精细任务执行压缩至分钟级

    大晓机器人近日发布最新研究成果ACE-CaP-0,该研究探索通用模型通过主动获取经验自主开发、验证和优化机器人技能。ACE-CaP-0创新性地结合按需示范与按需仿真机制,AI智能体可自主判断请求人类示范或开展仿真实验,并结合真机反馈修订代码策略。

11月14日周六
  1. The Decoder · Robotics80

    Runway 开源机器人控制模型 Praxis-1

    AI 公司 Runway 正式开源其机器人控制模型 Praxis-1,该模型基于视频训练,能预测环境变化并计算机器人动作。材料提供了 Apache 2.0 许可的权重与代码下载入口,报告了其在 RoboLab-120 榜单上的表现及在真实 Franka 机械臂上的任务成功率,同时指出了对特定数据微调的需求及硬件要求。

    推荐理由:Runway 开放了基于视频训练的机器人控制模型 Praxis-1,提供 Apache 2.0 许可权重与代码,并报告了在仿真及真实机械臂上的性能数据。

  2. The Robot Report60

    Rhoda AI 推出基于互联网级视频数据的通用机器人模型

    Rhoda AI 在获得 4.5 亿美元 A 轮融资后,推出了直接视频动作(DVA)模型,该模型通过在海量互联网视频上进行预训练以建立对运动、物理和交互的强先验。与仅依赖遥操作的小型数据集不同,该模型结合移动性与操作能力,通过观察 - 预测 - 转换 - 执行的闭环实现泛化,并可在少量任务特定微调后部署于真实世界场景。