跳到正文
10月30日周五
  1. arXiv · 机器人与计算机视觉55

    ScheduleGen:基于技能调度的多臂模仿学习演示生成方法

    针对多臂机器人平台因复杂约束导致安全控制难、大规模数据集采集难的痛点,论文提出ScheduleGen算法,通过集成规划与调度机制从少量源演示合成新演示以缓解数据瓶颈。该方法在28种仿真任务变体中实现79.6%的数据生成成功率及65.5%的策略训练成功率,且优于现有基线;同时实现了零样本仿真到现实的迁移,在八种真实世界变体上达到50-80%的成功率。

  2. arXiv · 机器人与计算机视觉78

    UMI-Live:面向野外数据采集的双手通用操作接口系统发布

    UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。

    推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。

  3. arXiv · 机器人与计算机视觉48

    Information-Driven Collaborative Autonomy for Heterogeneous UAV/UGV Teams 提出信息驱动的异构无人机与无人车协同自主方案

    该研究通过信息密度分布平衡探索与目标定位,利用贝叶斯推断获得泊松多伯努利近似以指导空中感知。地面规划结合置信集规避威胁并优化路线概率,采用嵌套 SCvx*-C-ADMM 算法实现全分布式闭环协同。数值案例验证了多机队在未知危险目标域内的完整闭环协作能力与轨迹更新机制。

  4. arXiv · 机器人与计算机视觉82

    Utility-WAM:修正由未来预测引发的动作变化

    世界动作模型(WAMs)可利用生成的视觉未来条件化机器人动作,但这会增加推理延迟且对某些任务产生负面迁移。本文提出 Utility-WAM 方法,在冻结共享 WAM 检查点的基础上引入残差适配器来修正速度偏差,并采用轻量级预生成门控机制复用反事实结果以跳过部分视频生成。

    推荐理由:提出 Utility-WAM 方法,通过残差适配器修正未来诱导的动作偏差并引入预生成门控机制,在保留长程预测优势的同时显著降低延迟与精度任务失败率。

  5. arXiv · 机器人与计算机视觉78

    SONIC-K1:将通用人形机器人动作追踪器移植到单 GPU 的小型人形机器人

    论文介绍了 SONIC-K1,这是据称首个针对 Booster K1 人形机器人的开源全身体动作追踪器。该策略在单块共享 GPU 上从头训练,计算资源远低于原始 SONIC 框架。仿真结果显示其能追踪大部分未见过动作片段并在外部基准测试中表现良好;真实机器人上可追踪上半身及慢速运动,但步态和转向可靠性较低且对动作延迟敏感。代码、策略权重与评估工具已公开。

    推荐理由:作者将 SONIC 框架适配至 Booster K1,在单 GPU 上实现全身动作追踪,公开了策略权重与评估工具。

  6. arXiv · 机器人与计算机视觉78

    ProLoop:基于结构化状态关系的长视界机器人任务规划闭环框架

    针对 LLM 规划中子目标进度推断不准确导致错误传播的问题,本文提出 ProLoop 框架。该框架通过学习到的状态关系监测器,从期望与执行状态的关联中显式推导子目标的持续、偏离或完成状态,并据此指导执行适应。实验表明,该方法在 AgentBoard ALFWorld 和真实机器人平台上整体成功率提升 12.94%,困难任务提升 15.46%,同时减少环境交互次数 32.3%。

    推荐理由:提出 ProLoop 框架,通过结构化状态关系显式评估子目标进度,在 AgentBoard ALFWorld 及真实机器人平台上提升成功率并减少环境交互。

  7. arXiv · 机器人与计算机视觉65

    基于语言对标的力/力矩预训练用于外接触感知

    该论文提出了一种方法,通过模拟抓取放置任务的监督数据将冻结的语言空间与双边六轴力/力矩历史信号对齐,从而构建出具有语义结构的物理状态表示。研究结果表明,该方法在仿真环境中未见过的物体上支持对机器人动作、物体重量及抓握交互的文本原型读出;在真实世界放置任务中,无需更新编码器即可实现接触与支持状态的识别,性能优于垂直力符号反转规则的基线。

  8. arXiv · 机器人与计算机视觉78

    OpenFlyV2:一种用于空中感知与导航的机载视觉语言动作模型

    论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。

    推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。

  9. arXiv · 机器人与计算机视觉78

    基于上下文中行为适应的跨控制器迁移方法

    针对通用机器人策略通常假设单一控制器的局限,本文研究如何在不同控制器及增益设置间进行数据迁移而不产生冲突解释。提出的框架通过编码指令动作与机器人运动的行为交互示例,利用 Transformer 上下文编码器实现单策略在上下文中的自适应。

    推荐理由:提出通过上下文行为适应实现跨控制器与本体策略迁移,在接触类任务中显著提升成功率。

  10. arXiv · 机器人与计算机视觉58

    RAIBO-Wagon:一种用于四足机器人拖拽车厢的实时导航系统

    针对四足机器人拖拽外部欠驱动物体(如车厢)时动力学复杂及狭窄空间避障难的问题,本文提出结合条件流匹配与模型预测路径积分控制的导航框架。该框架利用学习的前向动力学模型加速收敛并恢复可行解,集成于 RAIBO-Wagon 全栈系统并在户外长距离受限场景完成验证。实验显示系统在完全端侧计算下拖拽总重达 40kg(约机器人自重)的负载时,在 15 米长赛道上的成功率为 85%。

  11. arXiv · 机器人与计算机视觉78

    Event2Reward:从任务进展关系中学习机器人奖励

    针对机器人强化学习中绝对任务进度难以标注的问题,本文提出 Event2Reward 方法,结合归一化时间锚点与轨迹内局部相对进度约束来构建稠密塑形奖励。作者在约 10 万条真实机器人执行记录(含成功、次优及失败案例)上构建了事件标注数据集,无需帧级绝对进度标签即可训练。

    推荐理由:提出 Event2Reward,利用轨迹内相对进度关系解决绝对进度未知时的奖励塑造难题。

  12. arXiv · 机器人与计算机视觉35

    EmbodiExp:具身智能体通过组合经验实现任务迁移的框架

    EmbodiExp 框架提出基于子目标结果的体验构建方法,将策略、适用条件与可验证结果在线组合以指导动作生成。实验在多个具身基准上采用冻结经验库协议验证了有效性,利用失败轨迹提取局部成功并生成避错引导。该成果发表于 arXiv,属于预印本状态,代码与数据开放许可情况原文未详述。

  13. arXiv · 机器人与计算机视觉80

    EgoContact:基于第一人称视频的物理智能评估基准

    论文发布了 EgoContact 数据集,包含 2.25 万条人工校验的交互事件,每条数据均标注预接触观测、语义意图及像素级精确接触位置。研究指出当前方法在预测精确交互接触点及复杂场景目标定位上存在不足。实验表明,将 EgoContact 作为现有策略的记忆库可显著提升性能:仿真环境下抓取成功率从 14.2% 提升至 31.2%,真实机器人上从 16% 提升至 58%。

    推荐理由:该工作构建了首个以未来接触点预测为核心的大规模第一人称数据集,并验证了其在提升仿真与真实机器人抓取成功率上的显著效果。

  14. arXiv · 机器人与计算机视觉38

    旋翼滞后与噪声下四旋翼级联 ADRC 的致动器感知观测输入方法

    该方法提出致动器感知(AA)观测输入,利用虚拟输入对齐测量延迟并重构水平加速度。仿真显示 AA-Budget 将定点 RMSE 从 PID-Budget 的 65.5mm 降至 19.2mm,在严格约束下优于基准 72.3mm。PX4 软件环实验验证了噪声模型对增量预测误差低于 5% 及总指令增量预测误差低于 14% 的能力。

  15. arXiv · 机器人与计算机视觉74

    通过错误与恢复追踪任务进度的基准与循环分布模型

    针对长程机器人任务缺乏错误恢复与帧级标注数据的空白,作者开源了包含 3156 个回合、涵盖两个操作任务的 ReSTEP 数据集,提供语义阶段标签和帧级错误注释。为此提出的 REMORA 在线进度估计器结合了循环视觉记忆、分布预测和因果峰值选择机制,以解决视觉相似阶段的区分与时间一致性难题。实验显示该模型在进度准确性和时序一致性上均优于现有最先进基线 SARM。

  16. arXiv · 机器人与计算机视觉82

    Tactus:一款用于自然灵巧性数据收集的触觉与姿态感知手套

    Tactus 是一款集成纺织传感的手套,通过薄型化设计、电容式触觉传感器和 IMU 融合姿态追踪,解决了指尖力觉测量与手部遮挡下的姿态跟踪难题。材料给出了最小可探测力为 0.59 N(置信度 95%),跨参与者一致性达 0.87,并在重度遮挡下保持 11.0 mm 的指尖关键点相对误差。

    推荐理由:原文给出了触觉手套的硬件指标与跨平台基准评测结果,相关团队可据此评估其是否适合现有数据采集流程。

  17. arXiv · 机器人与计算机视觉56

    Catch It All!:基于单目相机的通用动态接球框架

    该研究提出了 Catch It All! 框架,旨在让类人机器人仅凭一个以自我为中心的相机,就能对未见过的物体进行通用化且能适应的接球操作。系统通过精心设计的抓取奖励学习策略,能够实时适应物体的姿态和形状,并具备安全感知课程以在硬件极限(如低至 5 Nm 的手腕扭矩)附近执行高频动作。

  18. arXiv · 机器人与计算机视觉54

    通过元学习语义适应实现开放世界的物体运动预判

    针对机器人导航中需应对未知物体及其相互影响(如叉车搬运托盘)的挑战,本文提出一种基于元学习的图神经网络方法。该方法利用物体的语义、几何及关系历史,仅需少量在线观察即可准确预测新环境中物体的启动时机。实验表明,该模型仅在仿真中训练,无需微调即可成功迁移至硬件,在仿真和硬件实验中均优于视觉语言模型及类别频率基线,并能支持闭环导航中的无碰撞穿越。

  19. arXiv · 机器人与计算机视觉68

    通过可微分仿真学习事件相机避障

    针对传统帧相机在高速运动下的模糊与延迟问题,本文提出一种基于 CUDA 的事件相机仿真器,将其集成到可微分物理仿真管线中以支持端到端策略训练。该方法直接映射事件帧至控制指令,无需中间深度估计。作者在四旋翼平台上实现了零样本真实部署,验证了其在助航与无导航设置下的鲁棒性,包括常规相机失效的低光环境。

  20. arXiv · 机器人与计算机视觉72

    选择性滑模控制增强无人机抗干扰能力:基于运动方程反演的扰动轴识别与回路优化

    针对四旋翼飞行器在阵风与负载变化下的控制难题,本文提出一种选择滑模控制方法,通过 PID 悬停飞行数据反演运动方程以恢复并量化受扰轴,仅在必要回路部署鲁棒控制。Crazyflie 2.1 实验表明该方法在受扰轴上显著改善跟踪性能,且增益扫描验证了其对匹配轴有效而对未匹配轴无效的理论预测。材料为预印本论文,未涉及真实机器人部署或量产结果。

  21. arXiv · 机器人与计算机视觉42

    惯性转向与低附着力表面履带车辆运动预测研究

    针对低附着力表面,该工作提出利用移动质量产生的惯性效应进行转向,而非将其视为需最小化的干扰。动态模型在冰面实验中优于运动学基线,并成功演示了无传统转向机构的单体轨道车通过内部质量控制实现转向。混合动力学 - 运动学模型能根据路面和情境自适应预测,证实了惯性转向作为低附着力环境替代转向机制的可行性。

  22. arXiv · 机器人与计算机视觉75

    AtomTree:一种基于大语言模型的具有状态感知的具身指令遵循分层框架

    针对交互式环境中具身指令遵循的长程任务规划难题,现有方法依赖语言常识且仅在失败后更新计划导致鲁棒性弱。本文提出 AtomTree 分层框架,利用 LLM 根据当前符号状态增量构建子目标树,轻量记忆模块复用过往结果,并在底层动作停滞时触发层级回溯重规划以防止轨迹漂移。该工作在 ALFRED 基准的零样本评估中优于先前的基于 LLM 的规划器。

  23. arXiv · 机器人与计算机视觉72

    基于价值函数的层级规划与控制:用于非铺装路面自主导航的 MPPI 方法

    该论文提出一种分层规划与控制框架,利用预训练低层强化学习控制器的价值函数作为隐式代价表示来引导高层模型预测路径积分(MPPI)规划器。该方法通过在线策略评估适应分布偏移,在仿真环境中实现了无需显式代价地图的越野导航,相比基线控制器表现出更安全有效的目标到达能力。

  24. arXiv · 机器人与计算机视觉47

    QbD-VLA:基于任务成功的视觉语言动作模型混合精度量化方法

    QbD-VLA 提出一种利用短闭环评估中任务成功率来分配权重与激活位宽的混合精度量化方案。实验覆盖四个 VLA 模型及全部 LIBERO 套件,在平均约 4 比特权重和少于 6 比特激活下保持强性能;SIMPLER 增益较小,Franka Research 3 机械臂上仿真优选策略对 X-VLA 无成功率损失但针对$\pi_{0.5}$失效。代码已开源,部署前需真实世界验证。

  25. arXiv · 机器人与计算机视觉5

    A Multi-Layer Navigation System for Smart Wheelchairs 如何在有限输入接口下实现未知环境导航

    该系统通过虚拟传感器驱动势场法检测障碍物、模型预测控制生成轨迹及开放词汇视觉算法识别目标,并在包含故障输入的实验中验证了鲁棒性。研究在 10 名无残疾参与者参与的实地智能轮椅测试中证明了其在真实环境的可靠性。该成果已提交至 IROS 2026 会议并将在论文集发表。

  26. arXiv · 机器人与计算机视觉56

    Force-Driven Hook Disassembly via Constraint-Aware Object-Centric Reinforcement Learning

    针对钩型连接件因变形和几何隐藏导致视觉无法确定拆解方向的难题,本文提出一种约束感知的强化学习框架,通过在线推断接触力来识别可行的提取方向。该方法在机器人无关的仿真环境中训练,并零样本迁移到物理机器人上,成功处理了包括空调内螺旋桨和前盖在内的四个实物任务。实验显示,结合粒子滤波信念的方法将空调前盖拆解成功率从 45% 提升至 75%,且所有任务的路径效率最高。

  27. arXiv · 机器人与计算机视觉73

    SaiVLA-JEPA:评估 JEPA 条件下 VLA 的未来潜在预测能力

    论文提出 SaiVLA-JEPA 架构,结合视觉语言模型与扩散 Transformer 动作专家,利用冻结的 V-JEPA 编码器特征进行控制。在 LIBERO-Plus 基准的 10,030 个配对集上测试发现,引入当前 JEPA 条件化使成功率从 71.6% 提升至约 82.5%,但增加未来监督未带来可检测的整体增益。

  28. arXiv · 机器人与计算机视觉42

    OmniQuad:一种配备全向轮的轮足混合机器人设计与控制方案

    OmniQuad 是一款结合 Mecanum 轮与腿部运动的新型混合机器人,旨在兼顾平整路面的高效性与复杂地形的适应性。研究团队完成了包含定制轮足与 EM-Act 执行器的整机装配,并开发了相应的控制策略。实验在室内和室外环境中进行了评估,验证了该架构在受限空间内的机动能力与姿态保持性能。

  29. arXiv · 机器人与计算机视觉73

    Skeleton-Guided Geometry-Aware Auto-Labeling for Robotic Grasping: From 4-DoF Learning to 6-DoF Execution

    该论文提出基于骨架的自动标注算法,生成两指抓取关键点并识别稳定可行区域,无需人工干预。作者开发了 SkelGG-CNN 网络,先在 Jacquard V1/V2、Cornell 等数据集上实现 95.42% 至 97.1% 的准确率;随后扩展为通用准 3D 骨架化算法以支持 6-DoF 抓取。

  30. arXiv · 机器人与计算机视觉58

    当“别担心”出错时:基础模型机器人的 HRI 教训

    文章基于三年 ROS 2 HRI 联盟经验,通过两个案例(机器人拒绝邀请后说“别担心”、访客在场时报到)揭示基础模型机器人虽具备感知与推理能力,但可能因顺序错误导致信息失真或责任边界失效。作者提出五个人机交互设计教训并引入 TRACE 审查方法,旨在解决基础模型机器人因能力增强而忽视责任边界与行动权威的问题。

  31. arXiv · 机器人与计算机视觉81

    ELEVATE:基于任务失败的四足机械臂控制器获取框架

    论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。

    推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。