跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 16 页

11月3日周二第 301–320 条
  1. arXiv · 机器人与计算机视觉78

    MOST:面向长视界移动操作的物体状态与任务进度记忆

    论文提出MOST框架,将多视角观测压缩为时间令牌,并通过监督物体状态和子任务进度来结构化记忆,直接条件化动作生成。该方法在RoboCasa365、RoboCasa-Long基准及真实机器人实验中均优于Xiaomi-Robotics-1模型,平均成功率从65.9%提升至72.1%,长任务最大进度从20.83%提升至42.22%,真实世界成功率从6.66%提升至43.33%。

    推荐理由:提出MOST框架,通过压缩多视角观测为时间令牌并监督物体状态与子任务进度,在长视界移动操作中优于现有最先进模型。

  2. arXiv · 机器人与计算机视觉85

    STEER:面向自动驾驶的路由感知自适应推理方法

    针对视觉语言动作模型在自动驾驶中过度使用思维链导致计算开销大且可能降低规划性能的问题,论文提出了 STEER 策略。该方法无需场景难度标注,通过路由不确定性感知采样和对齐环境奖励的跨路由优势信用分配,实现从直接响应到复杂推理的动态切换。实验表明,STEER 在 NAVSIM v1/v2 基准上兼具高规划质量与高效的推理效率前沿性能。

    推荐理由:提出无需场景难度标注的自适应推理策略,通过路由不确定性与环境奖励优化规划性能。

  3. arXiv · 机器人与计算机视觉78

    Learning from an Imitable Teacher: Competition Solution for the MetaFine Challenge

    该论文介绍了 Team Friday 在 MetaFine Open Competition(CoRL 2026)中的二名解决方案。团队未微调大模型,而是为每个任务训练了独立的 19M 参数策略与指令分类器,数据由模拟器中的特权脚本化教师生成。

    推荐理由:报告提出通过设计可模仿的虚拟教师来纠正学生策略,在 MetaFine 挑战赛中实现分数翻倍。

  4. arXiv · 机器人与计算机视觉84

    低参数 regime 下视觉语言动作模型的行為引导

    论文研究了如何用极低容量(8 至 384 个可训练参数)的 TinyLoRA 适配器对预训练的 OpenVLA-OFT 7B 策略进行行为引导,使其在保持预训练能力的同时适应如“举高物体”等风格偏好。

    推荐理由:该文展示了仅用 256 个可训练参数即可通过微调改变 VLA 执行风格,同时保留大部分预训练能力。

  5. arXiv · 机器人与计算机视觉81

    WorldSketch:用于零样本移动操作的草图化世界模型

    论文提出 WorldSketch 新范式,让视觉语言模型作为智能体主动查询感知工具构建并验证最小运动学世界模型,仅捕捉任务相关对象及其交互几何与可能运动,再由几何规划器联合优化接触与全身运动。

    推荐理由:提出由 VLM 构建最小运动学世界模型的范式,在 RoboCasa 等基准实现零样本成功率达 91%,显著优于现有基线。

  6. arXiv · 机器人与计算机视觉78

    行为图:用于解读机器人部署数据的无监督图结构

    针对机器人部署产生海量高维数据难以分析的痛点,本文提出行为图方法,通过识别相似行为模式、连接时序并关联结果,将策略 rollout 压缩为可解释的有向图。用户研究显示该方法比视频更易分析且能预测任务进度。

    推荐理由:提出行为图方法压缩机器人部署数据,用户测试显示其比视频更易分析且能预测任务进度。

  7. arXiv · 机器人与计算机视觉78

    基于路径积分与视觉罗盘误差的机制在真实机器人上的验证

    论文提出并测试了一种模型,证明简单的误差驱动机制能在真实世界条件下生成沙漠蚂蚁学习行走的关键特征。研究团队将模型部署在一台配备全景相机、IMU 和轮速编码器的四轮物理机器人上,并在户外复现了沙漠蚂蚁实验设置。

    推荐理由:该研究在真实四轮机器人上验证了基于路径积分与视觉罗盘误差的机制,成功复现沙漠蚂蚁学习行走的特征。

  8. arXiv · 机器人与计算机视觉78

    SPARK:基于物理重观察的自纠正具身记忆

    针对现有具身检索增强生成(RAG)系统易累积语义标签、物体位置及空间关系错误的局限,论文提出 SPARK 框架。该框架在首个任务集后利用语义批评标记知识库错误区域,通过规划器生成针对性重访,并基于新观察结果选择性合并信息以修正记忆。

    推荐理由:提出 SPARK 框架,通过语义批评与目标重访修正具身记忆错误,在 AirSim 仿真环境中显著降低存储开销并提升问答性能。

  9. arXiv · 机器人与计算机视觉82

    Anchor 1:用于全身精准稳定操控的人形机器人控制器

    Archon Robotics 发布 Anchor 1,一种面向人形机器人全身精准稳定操控的控制器及基准测试集。该方法采用校准后的稀疏运动参考以保留任务相关的人体运动结构,无需在线关节空间重定向;通过离线整理机器人运动数据塑造训练分布,并引入与运动编码解耦的显式误差反馈以提升控制精度。

    推荐理由:该工作提出 Anchor 1 控制器与基准,在仿真和硬件上均实现更优的全身操控精度与稳定性。

11月2日周一
  1. arXiv · 机器人与计算机视觉82

    GUI-Lens:通过粗到细裁剪实现通用 VLM 的精确 GUI 定位

    该论文介绍 GUI-Lens 框架,旨在解决通用视觉语言模型(VLM)在高分辨率、高密度界面中难以精确定位目标的问题。方法从截图提取 OCR 文本和 UI 组件作为坐标参考,利用指令和当前视图让 VLM 选择并裁剪放大下一区域,通过多轮聚焦逐步确定目标位置,最后将局部坐标映射回原屏幕。

    推荐理由:提出粗到细裁剪框架,使通用 VLM 在高分屏 GUI 任务中定位精度提升显著。

  2. arXiv · 机器人与计算机视觉82

    Decompose and Reorganize:基于演示学习的原语与视觉运动策略规划

    论文提出 DR-LfD 框架,将人类演示分解为原子技能并重组到 TAMP 决策系统中,解决接触丰富操作中的泛化问题。在 DexMimicGen 任务中,该框架仅需 100 次演示即可超越基于扩散的模仿学习策略(需 1000 次)。材料为预印本论文,已接受至 IEEE Transactions on Robotics。

    推荐理由:该框架将演示分解为原子技能并重组,在 DexMimicGen 任务中以 100 次演示优于扩散基线。

  3. arXiv · 机器人与计算机视觉78

    超越单纯操作:为自由浮动航天器规划无燃料姿态机动

    本文研究利用机械臂运动进行无燃料姿态控制的可行性,将其视为执行机构而非仅作为干扰源。通过构建包含关键关节和避撞约束的轨迹优化问题,使用内点法求解非线性程序,计算了多种航天器 - 机械臂系统的复杂变轨与去旋轨迹。

    推荐理由:提出利用机械臂运动实现无燃料姿态控制,通过轨迹优化解决关节与碰撞约束,为在轨组装提供新方案。

  4. arXiv · 机器人与计算机视觉83

    CuPIQP:面向机器人学习与控制的 GPU 批量化可微分二次规划求解器

    论文介绍 CuPIQP,这是一个基于近端内点法的 GPU 批量化与可微分二次规划(QP)求解器,支持稠密、稀疏及多阶段问题。基准测试显示其单批次处理多达 16384 个 QP,求解速度较 Moreau 快 18.8 倍,比八核 PIQP 快 4.26 倍;在端到端学习任务中,训练加速分别达 4.6 倍和 7.8 倍。该工具旨在降低计算成本,将基于模型的优化高效集成到大规模机器人学习与控制流程中。

    推荐理由:该工作提出基于 GPU 的批量化可微分二次规划求解器,为大规模机器人学习与控制提供高效优化基础设施。

  5. arXiv · 机器人与计算机视觉82

    ROOF:一种具有头顶约束的人形机器人跌倒恢复学习方法

    论文介绍了一种名为 ROOF 的强化学习方法,旨在解决人形机器人在头顶存在障碍物时的跌倒恢复难题。该方法利用接触支撑几何逃逸引导,仅凭本体感知即可学习何时清除障碍、建立支撑以及完成起身动作。

    推荐理由:提出接触支撑几何逃逸引导方法,在仿真与宇树 G1 真机实验中显著提升了头顶障碍物下的跌倒恢复成功率。

  6. arXiv · 机器人与计算机视觉78

    Nexus-VLA:通过共享分层语义隐空间桥接人类与机器人经验

    针对大规模自中心人类视频存在视觉外观、运动学结构和动作空间等本体差距的问题,论文提出 Nexus-VLA 混合策略学习框架。该框架引入分层跨本体语义对齐范式,从任务意图到细粒度交互逐步建立共享操作语义,并设计共享操作隐表示以直接用于连续动作生成。在 RoboCasa-GR1、OOD 设置及真实机器人实验中,该方法实现了 80.5% 的任务成功率,展现了高效的人类数据利用率和跨场景泛化优势。

    推荐理由:提出 Nexus-VLA 框架,通过端到端联合训练实现跨本体知识迁移,在 RoboCasa-GR1 上达到 80.5% 成功率。

  7. arXiv · 机器人与计算机视觉78

    悬吊织物机器人操作表面:建模、设计空间与多模块扩展

    论文提出一种通过稀疏垂直线性致动器悬吊连续织物以重定位物体的机器人操作表面(RMS)。作者建立了该悬吊表面的可分离悬链线模型,能快速计算给定致动器高度下的曲面形状及目标局部斜率所需的致动器高度。

    推荐理由:提出悬吊织物机器人操作表面的可分离模型与多模块扩展方案,在九致动器原型上实现厘米级物体跨模块传输。

  8. arXiv · 机器人与计算机视觉78

    SketchMate:基于代理几何推理的零样本精密插入方法

    针对现有基于视觉语言模型的机器人操作输出过于粗糙无法完成精密插入的问题,该方法提出让 VLM 构建仅包含几何原点和配合面的任务草图模型,由标准规划器执行并复用记忆。在仿真测试中,该方法在 69 次插入尝试中成功装配了 88% 的零件,而同等基线方法成功率为零;通过重用存储的草图运行,新任务的单次生成时间从约 90 秒降至 3.4 秒,且仅在遇到不熟悉的零件时才调用 VLM。

    推荐理由:该方法利用 VLM 构建任务草图记忆,在仿真中实现零样本高精度插入,显著降低对大模型的调用频率并提升成功率。

  9. arXiv · 机器人与计算机视觉78

    高阶运动学导数用于保形实时数值逆运动学

    该论文利用串联机器人的高阶运动学导数实现高效且保持几何特性的实时逆运动学计算。研究提出了 QuIK4 和 QuIK5 两种四阶与五阶收敛求解器,并设计了基于雅可比行列式外推的步长限制器以预测奇异点,同时引入埃尔米特插值验证器确保解的方位一致性。

    推荐理由:原文提出高阶运动学导数求解器与几何保形验证机制,显著降低逆解失败率并消除方位跳变。

  10. arXiv · 机器人与计算机视觉82

    ResMerge:面向预训练机器人策略持续适应的残差策略学习与合并方法

    针对真实世界部署中机器人需持续适应新任务的挑战,本文提出 ResMerge 框架,在冻结的预训练策略之上学习可合并的残差策略。该方法利用残差强化学习(RL)在无额外专家演示的情况下获取任务特定修正,并通过参数空间合并整合兼容残差以减少存储参数。

    推荐理由:提出 ResMerge 框架,通过残差强化学习与参数空间合并实现预训练策略的持续适应,无需额外专家演示且减少存储参数。

  11. arXiv · 机器人与计算机视觉82

    ∇Mimic:利用可微仿真实现高效人形机器人控制

    针对传统零阶方法样本需求大、现有首阶方法在接触动力学中梯度爆炸的问题,论文提出∇Mimic框架与NablaEngine引擎。通过每步反向传播的梯度裁剪和多步回归技术,结合专为宇树G1优化的可微GPU仿真内核,该方法在单卡上40分钟即可达到世界模型方法的跟踪分数,显著优于基线且开源了相关基础设施。

    推荐理由:提出基于可微仿真的首阶策略学习方法,配合专用加速引擎将训练效率提升数倍并开源。