跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 10 页

11月9日周一第 181–200 条
  1. arXiv · 机器人与计算机视觉82

    VLA Handover:基于失败预测的从机器人端到大模型服务器的切换方法

    针对大视觉语言动作(VLA)模型难以实时运行而小模型易失败的问题,提出 VLA handover 方案,让机器人本地运行小 VLA,仅在预测可能失败时切换至服务器端的大 VLA。该方法通过最小化请求成本并满足成功率约束,在 LIBERO 仿真套件中相比纯小模型提升 11-22 个百分点的成功率,同时比纯服务器控制减少 49-77% 的请求量且对网络延迟更鲁棒。

    推荐理由:提出基于失败预测的 VLA 切换框架,在仿真中显著提升成功率并降低服务器请求量。

  2. arXiv · 机器人与计算机视觉78

    PRISM:通过上下文技能混合实现 Retentive VLA 适应的原语路由方法

    针对现有 VLA 模型缺乏技能保留与长程组合能力的局限,PRISM 将可复用技能表示为参数级原语,利用低秩动作专家适配器存储技能家族,并通过 VLM 条件化的路由器在推理阶段根据任务前缀动态组合技能。

    推荐理由:PRISM 提出基于低秩更新的技能原语与路由机制,在 RoboCasa365 上显著提升了原子技能与长程复合任务的成功率。

  3. arXiv · 机器人与计算机视觉78

    利用自然天光进行鱼眼相机偏振校准的联合镜头 - 分析器方法

    针对鱼眼镜头效应和分析器不完美导致的偏振测量退化问题,作者提出了一种联合镜头 - 分析器校准方法,通过统一八参数公式显式建模入射角依赖的镜头透射率。该方法仅需手持户外序列即可估计相机帧间旋转并实现偏振校准,无需专用设备或预设天空模型。

    推荐理由:提出了一种仅需手持户外序列即可完成鱼眼镜头偏振校准的方法,无需专用设备或预设模型。

  4. arXiv · 机器人与计算机视觉83

    VICTR:一种用于视觉语言动作模型的基于价值的上下文学习框架

    该论文提出了 VICTR 框架,旨在解决机器人基础模型在未见任务中仅凭视觉相似性进行上下文检索的局限性。研究引入了一种基于参考演示、语言指令和当前观测的“进度感知”上下文检索机制,通过估计任务相对进度来对齐当前状态与已演示的执行阶段。

    推荐理由:针对 VLA 模型在未见任务中上下文检索效果受限的问题,提出基于进度感知的价值函数估计框架,显著提升了真实世界操作任务的成功率与进展率。

  5. arXiv · 机器人与计算机视觉82

    ForPC:一种用于精确人形机器人推车的力感知全身控制框架

    论文提出了 ForPC 框架,旨在解决人形机器人在不修改工作场所的情况下操作现有手推车以搬运重物的难题。该框架通过两阶段强化学习调节车速,首先训练运动先验以提供平衡支持,随后基于车载观测推断力潜变量和状态潜变量(无需外部传感器),并协调手臂、腰部与腿部的调整及基座速度指令。

    推荐理由:提出无需外部力传感器的全身控制框架,在仿真中训练即可将人形机器人推重达 30kg 的推车速度误差降低 68.2%。

11月6日周五
  1. 智元 AGIBOT · Newsroom66

    六台智元 G2 机器人完成上海便利店 24 小时实测

    智元 AGIBOT 在上海徐汇区一家运营中的便利店完成了为期 24 小时的实地测试,六台 G2 轮式人形机器人累计完成 1,730 项任务。其中四台通过最终性能评估,涵盖顾客服务、货架补货、咖啡制作及清洁等场景。

    推荐理由:智元在便利店完成 24 小时实测,验证了 G2 机器人在真实零售场景下的任务执行与自适应能力。

  2. arXiv · 机器人与计算机视觉78

    RAYEN:一种对神经网络输出或隐变量施加硬凸约束的框架

    论文提出 RAYEN 框架,旨在解决学习系统中难以同时保证硬凸约束满足且计算成本高的问题。该方法支持线性、二次、二阶锥及线性矩阵不等式等多种约束组合,无需昂贵的正交投影或软约束近似,在训练和测试阶段均能确保任意输入与权重下的约束满足。

    推荐理由:RAYEN 框架在训练与测试阶段均保证硬凸约束满足,相比现有方法显著降低计算开销并提升轨迹优化求解速度。

  3. arXiv · 机器人与计算机视觉83

    GigaBrain-WBC-0.5:一种用于人形机器人稳健全身追踪的行为世界模型

    该研究提出了首个行为世界模型(BWM)InterTrack,旨在解决通用运动追踪器仅适用于平地而跨地形控制器任务特定的问题。其 Transformer 架构联合预测动作、状态及行为分布,学习环境条件化的动力学;通过自动标注管道从重定向动作重建三维支撑几何以扩展交互训练数据。

    推荐理由:报告提出首个行为世界模型 InterTrack,在复杂地形交互与跌倒恢复上显著优于基线,并提供了代码、数据及预印本链接。

  4. arXiv · 机器人与计算机视觉80

    当视觉压倒语言:评估与缓解 VLA 中的反事实失败

    视觉 - 语言 - 动作模型(VLA)常因数据集偏差而依赖视觉捷径,忽视语言指令意图。该工作提出首个反事实基准 LIBERO-CF,在相同场景布局下分配替代任务以评估语言遵循能力。

    推荐理由:该工作提出首个 VLA 反事实基准 LIBERO-CF,并给出无需修改架构的 CAG 方法以缓解视觉捷径导致的指令遵循失效问题。

  5. arXiv · 机器人与计算机视觉82

    WoVR:作为可靠仿真器的世界模型用于 VLA 策略后训练 RL

    论文提出 WoVR 框架,旨在利用世界模型作为强化学习(RL)的可靠仿真器以进行视觉语言动作(VLA)模型的策略后训练。针对现有方法因幻觉和长视界误差累积导致推演不稳定的问题,WoVR 通过可控的动作条件视频世界模型、关键帧初始化推演以及世界模型与策略的共同演化来调节 RL 与不完美的想象动态的交互。

    推荐理由:提出 WoVR 框架,通过可控视频世界模型与关键帧初始化解决幻觉问题,实现长视界稳定推演与策略优化。

  6. arXiv · 机器人与计算机视觉82

    学习任务还是学习验证器?反思具身自我改进中的标准暴露问题

    该论文针对具身智能体在仿真基准测试中暴露验证标准(Criteria Exposure)的做法提出质疑。研究发现,当智能体被暴露于此类标准时,虽能快速生成高评分代码,但一旦标准微调便失效,且技能跨任务迁移性差。作者进一步提出了更忠实于指令的验证标准方案。

    推荐理由:实验表明暴露验证标准会导致模型过拟合评分而非完成任务,且技能迁移性差。

  7. arXiv · 机器人与计算机视觉78

    超越下一步:世界模型引导的多智能体场景中类人导航

    该论文针对多智能体场景中的导航问题,指出仅依赖当前状态无法避免局部可行但全局错误的动作(如切入人流)。作者提出将世界模型作为训练时的偏好 oracle 来蒸馏前瞻能力,而非在推理时进行昂贵的在线规划。

    推荐理由:论文提出将世界模型用于训练阶段以蒸馏前瞻能力,部署时移除模型实现低成本导航。

  8. arXiv · 机器人与计算机视觉78

    Transformer 基轨迹处方用于优化 sEMG 的机器人介导康复

    针对现有康复系统仅预设运动学轨迹而忽视神经肌肉激活的问题,该研究提出一种可个性化的 Transformer 模型,将表面肌电信号映射为与末端执行器交互时的接触力轨迹。

    推荐理由:该研究提出基于 Transformer 的模型,将肌电信号映射为康复机器人的接触力轨迹,在健康受试者实验中实现了低误差预测与即时推理。

  9. arXiv · 机器人与计算机视觉78

    Aligning Policy Encoders with a Shape Teacher

    该论文提出一种训练时的形状教师对齐机制,利用预训练的 3D 形状特征作为图像策略编码器的对齐目标,将几何结构转移至纯图像接口策略中。在 LIBERO 基准测试中,该方法使物体和空间套件的政策收敛速度分别提升 4.7 倍和 5.6 倍,同时提高了任务成功率,且部署时无需依赖形状教师或深度输入。

    推荐理由:提出形状教师对齐方法,在 LIBERO 基准上加速策略收敛并提升成功率。

  10. arXiv · 机器人与计算机视觉78

    H-TRIP:面向多机器人探索的精确多对多距离索引

    针对基于前沿的探索系统需反复计算机器人位姿与候选视点间测地线成本的问题,本文提出 H-TRIP 方法。该方法利用 Kleene 代数在 min-plus 半环上构建精确距离索引,将地图划分为具有固定边界端口的空间层次结构。

    推荐理由:提出基于层次化热带秩一增量传播的精确距离索引,解决多机器人探索中全局捷径导致的缓存失效问题。

  11. arXiv · 机器人与计算机视觉78

    STEP:用于感知人形机器人运动的空间时间显式预测训练

    论文提出 Spatiotemporal Training with Explicit Prediction (STEP) 框架,旨在解决感知型人形机器人运动中地形几何与身体状态演化的关联问题。

    推荐理由:提出 STEP 框架,联合监督跨模态关系与动作依赖的状态演化,在仿真及硬件实验中提升地形穿越成功率。

  12. arXiv · 机器人与计算机视觉83

    基于地形索引的运动先验与几何支撑的极端人形跑酷研究

    该论文提出一种渐进式模仿框架,用于学习适用于人形机器人的极端跑酷技能并自适应其手 - 膝支撑模式。演示数据提供穿越行为,但接触模式需适配机器人比例和可用支撑面。

    推荐理由:提出渐进式模仿框架,在 Noetix E1 上实现高成功率跨障碍与手膝支撑适应。

  13. arXiv · 机器人与计算机视觉78

    HITCH:教视觉语言模型通过全身 harness 操控人形机器人

    论文提出 HITCH(Harness Interfaces To Command Humanoids),一种让 VLM 控制人形机器人的接口,感知端返回图像中任意点的 3D 位置,执行端将髋部、躯干、手部、行走和注视指令转化为全身运动。

    推荐理由:提出 HITCH 接口让 VLM 通过全身 harness 控制人形机器人,微调后在无特定轨迹下完成 51% 任务,加五条轨迹后 SIMPLE 成功率升至 95%,并在真机 G1 上实现无真实训练数据的搬运行走。

  14. arXiv · 机器人与计算机视觉78

    A Unified Fractal Impedance Control Framework 提出谐波被动运动范式

    该论文提出了分形阻抗控制器的最新架构——谐波被动运动范式(H-PMP),并构建了支持 ROS2、MuJoCo 及物理硬件集成的统一开源框架。通过 Kinova Gen3 机械臂在轨迹跟踪、突发接触丢失和示教学习三个实验中的对比,结果显示 H-PMP 能在无计算开销下实现导纳与阻抗行为的无缝切换,适用于非结构化环境。材料为预印本,未报告真实机器人部署结果或量产状态。

    推荐理由:原文介绍了谐波被动运动范式的统一框架与开源软件套件,并通过三个实验验证了其在非结构化环境下的交互能力。

  15. arXiv · 机器人与计算机视觉78

    面向动态操作延迟感知的技能选择与时序的时间索引技能成功模型

    针对机器人操作移动物体时观测滞后导致技能成功率预测不准的问题,作者提出时间索引技能成功模型,用于预测给定延迟后启动技能的整任务成功率。该模型在 MuJoCo 仿真中,于 100 至 300 毫秒延迟下比静态能力模型提升 2.8 至 6.2 个百分点;在真实 UR5e 机器人上,针对注入 0.2 秒延迟的滚动球捕捉任务,该模型预测成功率与校准度优于静态模型。

    推荐理由:提出时间索引技能成功模型以解决延迟下的技能选择与定时问题,在仿真与真实机器人实验中均验证了校准性。