跳到正文
10月21日周三
  1. arXiv · 机器人与计算机视觉58

    KPHarness:面向长周期游戏任务的知识与探测共进化框架

    arXiv 论文 KPHarness 提出一种框架,通过知识探测共进化适应冻结的视觉语言动作模型的外部执行机制。该方法利用恢复知识生成干预假设并指导主动探测,依据探测结果修正知识库与策略选择,实现了快速策略执行与慢速研究循环的分离。实验在 Minecraft 任务上显示,该框架相比裸策略执行、固定手动 harness 及非自适应探测的知识进化方法,均提升了任务覆盖率和未见任务的完成率。

  2. arXiv · 机器人与计算机视觉83

    Latent Projection for Latent Planning:一种基于潜空间投影的规划方法

    该论文提出了一种名为 Latent Projection 的方法,旨在解决世界模型中潜变量包含无信号噪声的问题。作者利用 SIGReg 正则化将潜边际驱动为标准高斯分布的特性,假设潜序列为 Gauss-Markov 过程,通过拟合状态动力学矩阵 A 同时获得协方差结构。

    推荐理由:该方法利用世界模型训练中的正则化结构,以零额外成本拟合状态动力学矩阵来剪除潜空间噪声,在导航任务中将成功率提升最高 54.7 个百分点。

  3. arXiv · 机器人与计算机视觉84

    Joints, Camera, Action!:为任意骨架协同生成 3D 运动与视频

    arXiv 论文提出一种模型,直接为任意提供的骨架(rig)协同生成视频和 3D 运动,并注册相机以将动作置于 3D 场景中。该方法将 3D 运动建模独立于视频模型,支持非人形骨架,利用少量交叉注意力层连接预训练视频模型。

    推荐理由:提出联合生成视频与任意骨架 3D 运动的新方法,支持非人形资产动画化及场景配准。

  4. arXiv · 机器人与计算机视觉82

    通过混合灵巧模仿学习可适应的灵巧技能

    针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。

    推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。

  5. arXiv · 机器人与计算机视觉84

    UniWALM:面向具身机器人控制的统一世界动作语言模型

    论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。

    推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。

  6. arXiv · 机器人与计算机视觉70

    Physical Canvas:面向机器人策略评估与学习的视觉触觉世界模型

    针对物理交互成本高且难以扩展的问题,本文提出了 PhysCanvas,这是一个用于接触丰富机器人操作任务的、状态一致的视觉 - 触觉世界模型。该模型统一了多视角 RGB、触觉图像、标记位移、任务状态及动作,共享视频 VAE 和预训练生成骨干网络。

  7. arXiv · 机器人与计算机视觉85

    AgenticRoboRL:将代码智能体后训练引入具身机器人规划

    AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。

    推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。

  8. arXiv · 机器人与计算机视觉38

    MAPLE:一种基于 Mondrian 先验的无训练室内探索方法

    MAPLE 是一种无需离线训练的预测性探索方法,利用当前部分地图中的几何线索在线生成多个合理的地图假设以评估前沿增益。该方法在 KTH 楼层平面图及真实 SLAM 环境的多种传感器量程下,均优于非预测性探索并可与学习型方法竞争。其轻量级过程化构建支持有限算力资源下的预测探索,且实验表明更准确的地图预测未必带来更好的探索效果。

  9. arXiv · 机器人与计算机视觉78

    FRDV:一种用于可扩展人形机器人学习的快速动作重定向流程

    针对大规模人形运动捕捉数据在迁移到不同机器人时面临的挑战,论文提出了 FRDV 框架。该框架包含快速约束运动学重定向阶段和额外的动力学验证管道,利用自定义求解器实现高达每秒 9156 帧的处理速度,约为 GMR 和 ProtoMotions 的 136 倍。

    推荐理由:提出 FRDV 框架,结合快速运动学重定向与动力学验证,显著提升人形机器人动作迁移效率并减少物理冲突。

  10. arXiv · 机器人与计算机视觉48

    CAPSafe:具身智能体情境动作与计划安全推理基准评测

    CAPSafe 是首个评估具身智能体在复杂危险家庭任务中安全推理能力的基准,包含测试单步动作安全性的行动级数据集和评估长程规划的计划级数据集。对九款闭源及开源大语言模型的评测显示,最佳模型识别不安全动作准确率超 90%,但 Gemini-3-pro 以 78.19% 的最高成功率仍难完全解决长序列安全规划难题。该研究揭示了从危险识别到稳健长期规划之间存在显著差距,相关预印本已公开于 arXiv。

  11. arXiv · 机器人与计算机视觉48

    SPAR:基于搜索训练的推进行动排序器实现可移动障碍物间高效导航

    针对可移动障碍物导航难题,SPAR 利用仿真搜索结果训练排序器以区分直接开启与预备推动动作。在 300 个两推关键孔问题中,其将仿真调用减少 7.0 倍、规划时间降低 3.8 倍;深度达五推时成功率提升至 50.7%。真实机器人实验显示,SPAR Policy 在无物理数字孪生条件下成功率为 92.5%,显著优于随机搜索的 67.5%。

  12. arXiv · 机器人与计算机视觉78

    面向弹性关节臂的强化迭代学习控制:模型不确定性下的跨轨迹泛化保证

    论文提出强化迭代学习控制(RILC)框架,旨在解决顺从机器人轨迹跟踪中非线性动力学与建模不确定性的挑战。该方法通过耦合传统迭代学习控制器与强化学习策略,在保留被动顺从性的同时实现快速适应和理论收敛保证。

    推荐理由:提出强化迭代学习控制框架,结合传统方法与强化学习优势,在仿真与欠驱动弹性关节机器人实验中验证了跨轨迹泛化能力。

  13. arXiv · 机器人与计算机视觉78

    Safe Multi-Robot Collaboration With Uniform Exclusion Using Trust

    arXiv 论文提出一种用于多机器人协作的安全通信包装器算法,该算法利用各机器人上的异常检测器生成的信任值流,通过 Safe Anytime-Valid Inference 方法筛选出可信链路。

    推荐理由:提出一种基于信任值的通信包装器算法,能在存在恶意链路的情况下以高概率排除受损连接并快速恢复对合法链路的信任。

  14. arXiv · 机器人与计算机视觉58

    Learn to Modify:面向对话式文本生成动作的自我进化多智能体精炼框架

    针对现有文本生成动作方法多为单次生成、用户不满时需从头重生的问题,本文提出一种支持迭代反馈与局部编辑的对话式动作生成范式。研究团队设计了语义引导掩码动作编辑机制,将自然语言指令精准映射到时空运动区域以实现局部细化;同时引入基于记忆的自我进化策略,从交互历史中积累知识并复用成功经验以减少冗余探索。实验表明该框架能有效支持多轮对话生成与高效动作精炼。

  15. arXiv · 机器人与计算机视觉74

    从预测几何到动作:学习用于具身操作的互补预测表征

    针对现有方法未能明确如何表示预测几何以生成动作的问题,本文提出一种两阶段框架。预训练阶段利用冻结的 3D 基础模型提取密集几何特征并压缩为预测几何表征;下游微调阶段通过动作监督从几何过渡中提取强调动作相关变化的互补运动表征。

  16. arXiv · 机器人与计算机视觉74

    De-Diffusing WAMs:基于动作充分直接预测的机器人控制方法

    论文针对级联世界 - 动作模型(WAMs)继承扩散预训练专家带来的昂贵迭代推理问题,提出 DirectWAM 方法。该方法通过动作充分蒸馏将预训练的视觉和动作专家转化为单步预测器,无需随机采样即可支持准确的单步动作预测。研究在四个 LIBERO 套件上平均成功率达 97.1%,在 RoboTwin 2.0 上为 85.4%,优于 Flash-WAM,并将推理延迟降低了 28 倍。

  17. arXiv · 机器人与计算机视觉73

    FIT-MAC:一种用于增强 VLA 模型鲁棒性的故障感知闭环多智能体框架

    论文提出 FIT-MAC 框架,旨在解决视觉语言动作(VLA)模型在任务条件偏离标准设置时可靠性下降的问题。该框架通过引入推理时间控制层,利用规划、接地、验证和修正四个智能体协同工作:解析指令并绑定视觉目标,区分执行失败类型,并在必要时路由至重绑定或受控抓取等干预策略;若无故障则默认使用预训练 VLA 模型。

  18. arXiv · 机器人与计算机视觉64

    基于时间差分学习的概率可达避免值函数研究

    该论文针对机器人部署中的安全与任务可行性问题,提出了一种名为 PVF 的自监督方法,用于计算在随机且可能无界扰动下的可达避免集合。相比传统处理对抗性扰动的哈密顿 - 雅可比方法,该方法能提供更准确且不保守的概率集,并在包括 Hopper 运动控制在内的复杂系统中进行了评估验证。

  19. arXiv · 机器人与计算机视觉73

    PACT-VLA:基于预提交观测的推测性动作块验证

    论文提出 PACT-VLA,一种无需训练的动作策略优化框架,旨在解决 VLA 模型在异步推理中因观测滞后导致任务成功率下降的问题。该方法利用推理延迟作为决策时间,通过 FlowRes 评分函数从候选动作中选择最适配当前观测的序列,并在 Kinetix 和 LIBERO 基准上显著提升了平均成功率。

  20. arXiv · 机器人与计算机视觉48

    预期自由能作为潜在世界模型规划的计算控制器研究

    该研究提出利用预期自由能(EFE)目标结合目标距离与预测分歧,以决定在潜在世界模型规划中应投入多少计算资源。实验显示,当精英成本停滞时停止细化可降低任务成功率随深度增加而饱和的开销,但大权重下奖励分歧会降低冻结模型的成效。在线更新能在训练数据缺失关键区域时部分恢复损失,不过基于成本进展引导计算在峰值后保护性能仍需动作后果信息。

  21. arXiv · 机器人与计算机视觉51

    LocoPilot:基于单操作员双边遥操作的移动 - 操作策略学习框架

    LocoPilot 是一个在 Unitree Go2 四足机器人搭载 AgileX Piper L 机械臂上实现的单操作员双边遥操作与数据收集框架。该系统利用第二只机械臂作为领导者及两个手持控制器,同时控制基座、身体姿态、机械臂和夹爪;通过被动约束的触觉通道向操作员渲染估计的作用力,无需专用力/扭矩传感器。

  22. arXiv · 机器人与计算机视觉82

    基于人类手物交互数据的触觉感知表示学习框架 HuTact

    论文提出了 HuTact 框架,旨在解决灵巧操作中机器人端数据采集成本高的问题。该方法通过预训练将人类手物交互中的动作结构迁移至机器人触觉观测,无需真实触觉信号即可初始化模型。

    推荐理由:该预印本提出利用大规模人类手物交互数据作为先验,显著提升了机器人触觉感知与操作任务的数据效率。

  23. arXiv · 机器人与计算机视觉78

    EventSync:面向历史依赖操作的基于事件的任务记忆更新方法

    针对当前观测不足以确定下一步动作的历史依赖型机器人操作难题,本文提出 EventSync 层级框架。该框架利用视觉语言模型生成子目标,由视觉语言动作模型执行,并引入轻量级事件监测器结合视觉观测与末端轨迹判断子目标完成状态,仅在获得完成证据后记录至历史并触发后续推理。

    推荐理由:提出基于事件驱动的层级框架,通过轻量级监测器解决任务记忆更新时机问题,在 RoboMME 基准上显著超越现有基线。

  24. arXiv · 机器人与计算机视觉61

    关键点位手部视觉表征对遥操作演示的影响:一项用户研究

    该论文通过 PointHand 遥操作界面研究了渲染方式(真实形状、全关键点强调或仅拇指食指强调)如何影响新手演示及后续策略训练。在模拟任务中,展示拇指和食指的新手收集到的成功演示更多且质量更高;基于这些演示训练的扩散策略在共享表征下成功率显著提升。材料为预印本,未报告真实机器人部署结果。

  25. arXiv · 机器人与计算机视觉73

    Gaze2HOI:基于注视感知的自我中心手物交互意图消歧与预测研究

    论文提出 Gaze2HOI 框架,将手物交互预测分解为意图推理、接触定位和耦合运动生成三个层级。该方法利用注视强度和时间权重调制视觉语言模型以消除语义歧义,并通过前瞻性接触定位模块明确接触与支持几何信息,进而驱动扩散模型生成六自由度物体轨迹及手部关节运动。

  26. arXiv · 机器人与计算机视觉73

    RoboCasa-Shift:面向长程家庭操作任务的阶段感知 VLA 策略鲁棒性评估基准

    作者提出 RoboCasa-Shift 基准,基于 RoboCasa365 构建受控单因素扰动与匹配洁净 - 扰动 rollout 对。该研究在四个长程任务上评估了 GR00T N1.5 模型,共执行 1,040 次正式 rollout,发现鲁棒性响应随因素和任务变化显著,且增加扰动严重程度并不总是导致单调性能下降。

  27. arXiv · 机器人与计算机视觉75

    LaLa-World:通过自然语言动作扩展潜在世界模型的规模

    arXiv 论文 LaLa-World 展示了一种 JEPA 风格的潜在世界模型方法,该模型采用视频生成模型的语言条件接口,从仿真环境和机器人轨迹中联合学习。其设计包含将数值动作与视觉变化统一描述为语言,并基于大语言模型构建预测器以解释语言条件。

  28. arXiv · 机器人与计算机视觉82

    基于多视角潜在动作预训练的跨具身机器人视频学习

    针对单视角模型无法解决深度与遮挡问题导致 6D 动作解析模糊的局限,该研究提出一种利用同步多相机视图和交叉注意力机制压缩为潜在动作的模型架构。实验显示,双视角预训练相比单视角将真实 6D 动作的可解码性提升 17%,下游策略成功率提升幅度从 +6.2% 增至 +13.5%。

    推荐理由:该研究提出多视角潜在动作预训练方法,在跨具身迁移和硬件部署上均验证了视频数据对提升机器人操作成功率的有效性。

  29. arXiv · 机器人与计算机视觉64

    基于自适应穿越管的双足人形机器人姿态感知导航方法

    该预印本论文提出了一个姿态感知导航框架,核心包含自适应穿越管(ATT)、区间速度 - 航向控制及侧步增强的 AMP 运动先验。该方法通过连续信号统一几何通行与社会避让需求,将宽度映射为前向至侧移的姿态调度与全向速度指令,并设计了基于 GVHMR 重定向的运动策略以提升过渡稳定性。材料仅展示 MuJoCo 仿真演示与 Unitree G1 的部署计划,定量结果待后续发布。

  30. arXiv · 机器人与计算机视觉82

    CovNav:基于共形预测的物体目标导航自适应推理方法

    论文提出 CovNav 框架,解决具身智能体在未见环境中寻找目标时大语言模型的效率与精度权衡问题。该方法将空间查询转化为结构化二元决策,利用局部小模型快速判断并引入共形预测量化不确定性,仅对模糊查询调用慢速思维链推理。

    推荐理由:该工作提出无需训练的框架,利用共形预测引导大模型在具身任务中自适应切换快慢推理模式。

  31. arXiv · 机器人与计算机视觉23

    最小时间逃离 Reeds-Shepp 追捕者视锥场:慢速或等速逃逸者的分类与博弈值分析

    该研究构建了全向逃逸者在 Reeds-Shepp 追捕者前向圆锥视场内最小时间逃离的解析解,适用于速度比$\nu$及半角满足特定条件的场景。作者利用 Isaacs 特征线结合 Filippov 追捕者与单侧逃逸者分支构造反馈形式解,并验证了有限逃逸时间为博弈值。独立集水平求解器在测试参数下与闭式解一致,复现了由射线非可用部分和凸角屏障界定的保持区域。

  32. arXiv · 机器人与计算机视觉78

    单目头显相机几乎足够:无需电子的 UMI 手套由单一移动相机标定与观测

    该研究提出用佩戴在采集者头上的单目自眼相机($122)替代手腕相机、姿态追踪器及多路数据流,配合贴有标签的无电子手套($22)和纸砖标记。实验显示该方法对机器人编码器标定的中位误差为 6.5mm 和 1.6 度,帧覆盖率 93%-100%;基于此训练的策略验证损失仅比编码器策略高 3%。

    推荐理由:单目头显相机替代手腕设备,配合无电子手套实现低成本高精度抓取,演示了从遥操作到自主执行的迁移效果。

  33. arXiv · 机器人与计算机视觉55

    JARVIS:从视觉说明书到自主机器人装配的基准方法

    JARVIS 是一个无需额外语言指令的自主视觉手册引导执行基准,包含 236,679 个 LEGO 装配任务及 50 个交互式评估子集。该工作引入结构感知评估协议以捕捉几何精度与构建顺序,并提出 JARVIS-agentic 智能体利用工具进行程序合成与反馈恢复。实验显示任务导向原语能提升平均得分,但长视界执行性能显著下降且纠错困难,揭示了视觉过程推理与可靠物理执行之间的持续局限。