跳到正文
10月16日周五
  1. arXiv · 机器人与计算机视觉82

    LIMBO:一种用于敏捷且安全的全身控制的无模型障碍目标学习与内化框架

    arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。

    推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。

  2. arXiv · 机器人与计算机视觉59

    ProTracer:基于本体感知的机器人操作故障诊断框架

    该论文提出了 ProTracer 框架,旨在对机器人操作失败进行综合分析,包括二元检测、分类、解释生成以及新增的失败起始时刻定位任务。该方法利用现有视觉语言模型(VLM)结合本体感知信号,将丰富的机器人状态信号转化为结构化自然语言描述,无需额外训练即可结合视觉观察进行分析。

  3. arXiv · 机器人与计算机视觉72

    Static In, Dynamic Out:面向移动物体操作的反事实动作增强方法

    针对实物部署中目标物漂移或摆动的挑战,本文提出了 Static In, Dynamic Out (SIDO) 框架。该方法将移动物体操作分解为预测未来位置与到达该位姿两个子问题,通过位移物体至反事实未来位置并形变演示动作块以保持手 - 物相对位姿,从而构建目标条件策略。

  4. arXiv · 机器人与计算机视觉73

    Play2Perfect:玩物预训练对精密装配的重要性研究

    论文提出 Play2Perfect 强化学习框架,主张机器人需先学会“玩”以获取抓取、手内重定向等通用操作先验,再微调至精密装配任务。系统研究表明该先验比从零开始的 RL 训练样本效率高 33 倍,实现了零样本仿真到现实迁移,在仅 0.5mm 接触间隙的紧密插入任务中达到 60% 成功率,并在长周期多部件装配与拧螺丝任务中超过 50% 的成功率。

  5. arXiv · 机器人与计算机视觉82

    空间条件化扩散策略:利用单目 RGB 相机学习精确且鲁棒的操纵

    针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。

    推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。

  6. arXiv · 机器人与计算机视觉82

    重新审视具身化思维链:ERVLA 模型实现可泛化的机器人操作

    该论文重新审视了具身化思维链(Embodied CoT)在机器人控制中的应用。作者构建了包含 97.8 万轨迹、2.263 亿样本和 2592.5 小时数据的大型语料库,发现仅靠高层推理增益有限且显式思维链作为自回归前缀会导致误差累积。

    推荐理由:该文提出 ERVLA 模型,通过训练时保留推理痕迹而推理时直接预测动作的策略,解决了显式思维链在自主生成中误差累积的问题。

  7. arXiv · 机器人与计算机视觉35

    Bi-Level Optimization for Contact and Motion Planning in Rope-Assisted Legged Robots 提出 ALPINE 平台的双层优化运动规划框架

    该研究针对绳索辅助机器人攀爬垂直表面的移动任务,构建了结合交叉熵方法与梯度非线性优化的双层混合整数规划框架。方法在新型 ALPINE 机器人平台上验证了其在复杂地形配置下的可行性,实现了着陆区域选择与绳张力、腿部力及落点位置的同步优化。

  8. arXiv · 机器人与计算机视觉72

    通过广义致动网络实现肌肉驱动机器人的仿真到现实迁移

    针对腱驱动与软体肌肉致动系统因非线性、摩擦和迟滞导致难以进行仿真到现实策略迁移的问题,本文提出了一种名为 GenAN 的通用致动网络方法。该方法通过学习关节位置轨迹直接识别复杂的致动模型,无需扭矩传感器,并结合刚体动力学模拟环境交互。

  9. arXiv · 机器人与计算机视觉60

    DGS-Net:通过多对象场景单视角点云学习灵巧抓取

    针对主流数据集忽视环境干扰和预抓取姿态的问题,作者提出 DGS-Net 端到端网络及两阶段数据生成策略,构建了包含 307 个物体、240 个多对象场景和超 35 万验证抓取的数据集。实验显示该方法在仿真中达到 88.63% 成功率,真机平台为 78.98%,且平均穿透深度仅 0.375 mm,表现出更强的泛化能力与鲁棒性。

  10. arXiv · 机器人与计算机视觉48

    RMBench:基于记忆依赖的机器人操作基准与策略设计洞察

    针对现有机器人操作策略忽视记忆能力的局限,研究团队推出包含 9 个任务的仿真基准 RMBench 及模块化策略 Mem-0。通过广泛的仿真与现实实验,该工作揭示了现有策略在记忆相关任务中的限制,并提供了架构设计选择如何影响记忆性能的实证洞察。相关网站与代码已公开供评估使用。

  11. arXiv · 机器人与计算机视觉61

    IDfRA:机器人装配中的自验证迭代设计框架

    针对复杂工业场景依赖人工规划和启发式仿真的局限,本文提出 IDfRA 框架,结合大语言模型生成装配计划与视觉语言模型评估执行结果,形成规划 - 执行 - 验证的闭环。该系统无需部署前构建精确的世界模型,而是通过在线交互发现物理约束以适应未充分定义的环境。实验显示,该方法在语义可识别性上达到 73.3% 准确率,整体构建成功率为 86.9%,且设计质量随迭代逐步提升。

  12. arXiv · 机器人与计算机视觉83

    LIBERO-PeRM:个人化机器人操作基准评测

    LIBERO-PeRM 是一个用于具身智能体偏好学习的新基准,旨在解决通用机器人进入家庭环境时的个性化难题。该研究在仿真环境中构建了包含 312 个任务的高质量演示数据集,并提出了可自动评估的偏好满足指标体系。

    推荐理由:该基准通过受控仿真区分任务完成与偏好满足,揭示当前 VLA 策略在零样本个性化上的局限及混合训练对运动学习的潜在影响。

  13. arXiv · 机器人与计算机视觉82

    价值即记忆:面向通用机器人策略的在线价值引导后训练

    针对现实世界通用机器人策略后训练的局部可观测性与离线反馈延迟问题,论文提出了价值即记忆框架。该框架通过价值缓存将近期预测作为任务进度记忆来约束动作选择,并结合离线演示、离策干预与在策 rollout 实现样本高效的在线自主学习。实验显示,在涉及可变性物体和富接触操作的任务中,该方法使平均绝对成功率提升 29.4%,相比匹配的离线训练在线自主学习方案再提升 32.8%。

  14. arXiv · 机器人与计算机视觉83

    P^3-WAM:面向第一人称灵巧操作的统一世界动作模型

    论文介绍了 P^3-WAM,这是一个用于第一人称灵巧操作的统一世界动作模型,通过学习感知、预测和规划三种互补模式来整合 3D 动作表示与预训练视频扩散 Transformer。实验表明,统一训练在四个数据集上的 3D 手部重建、动作条件视频预测以及指令遵循度上均优于专用基线,且无需将单一任务拆分为独立模块。

    推荐理由:该工作提出了统一的 P^3-WAM 模型,通过单一架构同时实现手动作重建、视觉未来预测与目标导向规划。

  15. arXiv · 机器人与计算机视觉82

    Spark-0:通过空间对齐触觉预训练提升机器人灵巧操作能力

    针对视觉预训练难以捕捉接触力与滑移等触觉信息的难题,该研究提出 Spark-0 模型,利用触觉手套数据构建 HumanTouch 数据集进行大规模预训练。实验表明,在保留触觉信号的情况下,Ego Humanoid 基准测试成功率从 52.5% 提升至 71.7%,SparkArena 真实机器人任务成功率从 44.0% 提升至 52.0%,验证了触觉作为策略输入及可缩放监督信号的有效性。

    推荐理由:该工作提出 Spark-0 模型与 HumanTouch 数据集,证明在灵巧操作中保留触觉信号可显著提升视觉预训练的成功率。

  16. arXiv · 机器人与计算机视觉84

    PlayPolicy:基于监督游戏的灵巧性学习框架

    论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。

    推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。

  17. arXiv · 机器人与计算机视觉82

    Sim-to-Real 强化学习实现水培生菜采摘的路径安全目标到达

    arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。

    推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。

  18. arXiv · 机器人与计算机视觉53

    Mem4Act:面向长视界机器人操作的潜在记忆学习框架

    该论文提出 Mem4Act 框架,旨在解决长视界机器人操作中的记忆效率与利用问题。方法通过多粒度时序聚合组织历史、利用问答监督保留语义信息并重建关键帧特征,采用记忆优先的两阶段训练策略以增强策略对记忆的依赖。实验在 RoboMME、RMBench 及四项真实世界任务上验证,成功率为 49.88%、61.0% 和 81.5%,消融研究证实了时序聚合与监督机制的重要性。

  19. arXiv · 机器人与计算机视觉73

    Compliant GMT:通过残差参考适应实现全身顺应性通用运动跟踪

    论文提出 Compliant GMT (C-GMT) 框架,旨在解决具身智能机器人在真实部署中需同时执行多样化动作并安全响应交互力的问题。现有通用运动跟踪策略虽能模仿多样动作但训练为刚性,易在受扰时产生不安全行为;而现有顺应性控制方法往往牺牲泛化性或仅针对单一参考策略定制。

  20. arXiv · 机器人与计算机视觉72

    面向全向倾斜旋翼飞行机器人的 CBF 力分配控制

    针对主动倾斜飞行器在构型重排时因伺服响应慢导致期望力不可行的问题,本文开发了一种基于控制屏障函数(CBF)的力分配器。该方法利用精确等效力身份连接标称与实际配置下的推力需求,将鲁棒力约束转化为十二个由椭球储备收紧的推力边界,并导出六变量伺服速率二次规划及微分推力分配以进行跟踪。

  21. arXiv · 机器人与计算机视觉73

    DemoStream:面向自动化从演示学习的批量任务与运动规划优化

    学习演示是赋予机器人操作能力的有效策略,但现有方法要么依赖持续人工遥操作,要么仅针对单一任务。本文提出 DemoStream,一种利用 GPU 加速的任务与运动规划(TAMP)系统,通过批处理采样和约束满足并行探索多解以优化演示质量,从而提升下游行为克隆的成功率。

  22. arXiv · 机器人与计算机视觉78

    VP-EVT:面向具身视觉跟踪的主动可见性保持方法

    针对动态环境中行人遮挡导致的目标丢失问题,本文提出 VP-EVT 框架,将目标可见性作为显式运动控制目标而非跟随副产品。该方法利用语言引导感知分离目标与行人观测,结合视觉历史与本征运动维持相对位置估计,并通过循环控制器协调视角调整以恢复稳定跟踪。

    推荐理由:提出 VP-EVT 框架将可见性作为显式运动控制目标,在 occlusion 场景下显著降低丢失时长并提升成功率。

  23. arXiv · 机器人与计算机视觉82

    VeriVLA:一种针对基于流的视觉语言动作模型的自适应测试时验证方法

    该研究提出 VeriVLA,旨在解决基于噪声的 VLA 策略在测试阶段无法评估样本质量的问题。该方法采用无需训练的触发机制,利用两个初始样本测量时间变异性和跨样本方差以检测关键状态;一旦触发,便使用 JEPA 架构的潜在世界模型预测动作条件化的未来潜在状态及任务进度变化,从而对候选动作块进行排序。

    推荐理由:该方法在无需训练的情况下,利用潜在世界模型对基于流的 VLA 策略进行测试时验证,将笔插入等三项真实任务的平均完成度从 50.8% 提升至 65.5%,并在仿真环境中实现稳定增益。

  24. arXiv · 机器人与计算机视觉38

    分数阶粘弹性渲染的感知对比:Fractional- vs Integer-Order Models

    研究通过系统辨识与人类反馈优化两种方法,证实分数阶标准线性固体(FO-SLS)模型在蠕变和应力松弛行为上比整数阶替代方案更具感知真实感。该工作为粘弹性材料的触觉渲染提供了实验证据,表明其高保真度能转化为实际交互优势。论文已提交至 IEEE Transactions on Haptics 待发表,包含 11 页正文及 5 张图示。

  25. arXiv · 机器人与计算机视觉78

    基于增强 ROS 2 的多模式控制器实现亚毫秒级反射引擎

    针对现有 ROS 2 架构在切换时引入延迟并中断执行的问题,作者提出一种开源的亚毫秒级反射引擎。该框架基于增强的 ROS 2 兼容多模式控制器,通过无锁指针操作消除运行时中间件开销,实现了低于 0.1 ms 的控制模态切换延迟。

    推荐理由:开源框架实现亚毫秒级控制切换,消除运行时中间件开销,为连续人机交互提供确定性低延迟方案。

  26. arXiv · 机器人与计算机视觉42

    Time-Optimal Ergodic Retrieval 提出新公式优化机器人搜索任务总时长

    Time-Optimal Ergodic Retrieval(TOER)将检测建模为泊松过程并纳入返回阶段,相比基准方案缩短最多 19% 的任务时长。仿真与硬件验证表明该方法兼容非凸几何环境及二维、三维搜索域,且随返回成本增加优势更显著。该工作以预印本形式发布于 arXiv,代码与权重暂未提及开放许可。

  27. arXiv · 机器人与计算机视觉73

    从人类视频到机器人操作的跨形态因果转移

    针对机器人操作模型训练数据稀缺的问题,该方法分析通过因果束视角下的子任务转移机制,提出因果束引导的子任务迁移(CBST)框架。该框架从人类视频中学习操作相关表征,并利用机器人演示将其锚定在任务级语义变量上,从而在不依赖人机动作对应关系的情况下,使机器人能基于自身观测生成操作策略。实验表明该方法在机器人操作基准测试中提升了任务成功率。

  28. arXiv · 机器人与计算机视觉75

    Trajectory-based Diffusion from One-shot Human Video for Generalizable Manipulation

    针对模仿学习依赖遥操作数据收集的问题,本文提出 TDV 框架,利用单一人机视频通过插拔式 6D 姿态估计提取物体轨迹作为模态无关的中间表示。该方法在 RLBench 仿真任务中七个任务成功率接近 100%,并在真实世界实验中实现了从单个人类演示到跨本体机器人的泛化操作。

  29. arXiv · 机器人与计算机视觉75

    Uni-PNP:面向通用物体姿态可达的统一抓握与非抓握策略学习

    针对现有方法将抓握与非抓握操作分离且依赖特定环境支持的局限,该研究提出 Uni-PNP 统一策略,联合学习多种物体的姿态可达任务。方法首先预训练几何编码器以预测接触诱导的物体运动,随后通过两阶段强化学习课程从可抓取对象迁移至不可抓取对象,鼓励发现非抓握交互并整合抓握能力。

  30. arXiv · 机器人与计算机视觉48

    MAIA:通过多模态世界模型预测接触丰富操作中的交互异常

    MAIA 框架利用视觉 - 动作 - 力世界模型学习正常动力学,能比基线更早且更准地预测接触丰富操作中的交互异常。在包含 2,852 条轨迹的 CRIA 数据集上,其 bACC 达 0.765/0.710,平均提前预警 28.0/25.1 步。基于该预测的动作选择将端到端任务成功率从 52.6% 提升至 61.5%,且无需重训底层策略。

  31. arXiv · 机器人与计算机视觉82

    SPEAR:面向 VLM 引导的机器人操作的自适应偏好 elicitation 框架

    针对视觉语言模型(VLM)在机器人操作中推理成本高且易回避困难比较的问题,提出 SPEAR 框架将其转化为高效偏好预言机。该框架通过可区分性感知查询选择降低回避率,并利用自适应奖励过渡结合 VLM 合成引导加速探索。

    推荐理由:提出 SPEAR 框架,通过可区分性查询选择与自适应奖励机制提升 VLM 在机器人操作中的效率。

  32. arXiv · 机器人与计算机视觉43

    基于心流理论的多模态控制框架融合 EEG 与 sEMG 信号提升上肢康复训练参与度

    针对现有方法无法区分肌肉无力与心理脱节的局限,该研究提出融合脑电(EEG)肌电信号(sEMG)的自适应阻抗控制策略。实验显示,相比仅依赖 sEMG 的基线,新框架在保持轨迹跟踪的同时降低机器人能耗 71.9%,并将神经可塑性区停留时间从 4.6% 提升至 42.8%。该成果验证了联合调节身心状态能增强辅助选择性,有效缓解用户被动性并维持运动学习所需的参与度。

  33. arXiv · 机器人与计算机视觉48

    Attribution-Gated Joint Estimation of Intention and Capability for Assist-as-Needed Upper-Limb Robots 提出新架构

    该研究针对上肢机器人辅助控制,开发基于双测量量多模态模型预测控制的架构,利用归因门解决意图与能力估计的模糊性。在九名健康受试者的疲劳搬运实验中,该方法在所有条件下均实现最低轨迹误差(0.017 弧度),且能准确区分目标变化与负载增加带来的适应性调整。

  34. arXiv · 机器人与计算机视觉72

    TRACE:基于类型化参考感知的对话式人形运动扩散编辑

    该论文提出 TRACE 框架,旨在解决将未充分定义的语言请求转化为具体可修订的运动结构这一挑战。研究围绕宇树 G1 人形机器人构建,利用成对的训练运动和当前运动作为监督信号,通过语言模型预测支撑、根部和手部事件的时间对齐编码,结合重力参考状态与轨迹接触目标来改善运动学一致性。