跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 23 页

10月26日周一第 441–460 条
  1. arXiv · 机器人与计算机视觉82

    UniAction:用于世界模型的统一动作条件化框架

    UniAction 是一种统一的动作条件化框架,旨在解决现有世界模型因动作类型而异导致数据碎片化的问题。该框架将任意动作表示为稀疏的动作元素集合,每个元素具有离散语义身份和连续时空坐标,并直接映射到预训练视频模型的固有位置空间。

    推荐理由:UniAction 提出统一动作条件框架,将异构动作映射至共享时空结构并引入基数校准注意力,在四类动作形式上优于专用专家模型。

  2. arXiv · 机器人与计算机视觉82

    ViT-H:基于生成式视频到类人控制的运动追踪反馈框架

    论文提出 ViT-H 框架,通过扩散模型直接从单目视频中生成类人参考动作,跳过中间的重构与重定向阶段,并利用运动追踪结果进行偏好优化以提升可执行性。该工作还引入了自回归变体以实现低于 400ms 延迟的实时遥操作。在 Unitree G1 机器人上的实验表明,ViT-H 在运动质量和可执行性方面均优于现有的重建 - 重定向 - 追踪流水线,且模型规模与数据规模的扩展效果良好。

    推荐理由:ViT-H 框架通过生成式视频到类人控制范式,利用运动追踪反馈优化生成器,在 Unitree G1 上展现出优于传统流水线的运动质量与可执行性。

  3. arXiv · 机器人与计算机视觉78

    OWLS:基于开放世界的语言条件化速度场用于零样本漫游车导航

    OWLS 是一种无需任务特定训练、地形标注或持久地图的零样本漫游车导航方法。该方法利用视觉语言模型对单目相机图像中的每个像素进行可通行性评分,将这些语义分数投影到地面并通过形态学操作适配平台,进而生成最小时间规划器的速度场。研究在室内及非道路物理漫游车上进行了评估,并在模拟火星与月球漫游器上测试了 200 个程序化生成的地形,同时验证了在真实行星影像上的表现。

    推荐理由:论文提出利用视觉语言模型的语义评分构建速度场,实现无需训练与标注的零样本漫游车导航。

  4. arXiv · 机器人与计算机视觉78

    UAV-SwarmAgent:基于代码生成与视觉语言推理的可扩展多无人机侦察与任务分配系统

    该论文提出 UAV SwarmAgent,这是一个分层多智能体系统,操作员仅需用一句自然语言描述任务,地面站代理即通过代码生成为每架无人机规划路线。系统在仿真环境中对 4 类事故场景和 3 种基础模型进行测试,成功定位了 255 次任务中的 244 次(成功率 95.7%)。研究还发现增加无人机数量带来的速度提升存在上限(1.52 倍),并讨论了误报问题及后续用户研究的必要性。

    推荐理由:该工作提出通过代码生成与视觉语言推理实现多无人机任务分配,仿真显示定位成功率达 95.7% 且扩展性符合阿姆达尔定律。

  5. arXiv · 机器人与计算机视觉78

    HGWM:通过图匹配实现零样本物体导航的分层图引导世界模型

    HGWM 耦合了 LLM 生成的房间锚点先验与持久化的空间语义记忆,采用两阶段机制(粗粒度视觉语义评分与细粒度符号兼容性测量)结合 LLM 方向推荐进行本地动作选择。

    推荐理由:该工作提出分层图引导的世界模型,在仿真环境中实现零样本物体导航,提供了具体的成功率与路径效率指标及消融分析。

  6. arXiv · 机器人与计算机视觉78

    RoboCode:学习可复用的机器人操作原语

    论文介绍 RoboCode,该方法通过共享软门控原语接口学习动作空间中的可复用模式,将动作块表示为多个学习到的原语的软组合而非单一离散码。在五个 ManiSkill 任务实验中,其平均重建 MSE 为 0.0187,代码激活分析显示跨任务的结构性复用,且在所有评估任务上达到最高或并列的闭环成功率(平均 75.6%),优于 ACT(68.8%)和 Diffusion Policy(41.6%)。

    推荐理由:该工作提出软门控原语接口,在五个任务上实现平均 75.6% 成功率并揭示代码复用结构。

  7. arXiv · 机器人与计算机视觉82

    分离双曲视觉语言模型中的角度对齐与径向排序

    该论文介绍 AURORA 框架,旨在解决现有双曲视觉语言预训练目标中语义对齐与层级结构纠缠的问题。作者提出通过角度对齐捕获语义相似性,并利用新的径向 - 角度顺序锥(RAOC)进行蕴含建模,同时引入范数正则化防止径向退化。模型在数百万图像文本对上训练,并在零样本分类、图文检索等任务上优于欧氏和双曲基线。材料为 arXiv 预印本,未提及同行评审状态或开源代码。

    推荐理由:提出 AURORA 框架,通过解耦语义对齐与层级蕴含建模解决双曲空间表示冲突。

  8. arXiv · 机器人与计算机视觉82

    TravSUITE:基于自监督、不确定性感知的逆强化学习与地形估计的可通行性系统

    论文提出了适用于高速越野导航的 TravSUITE 系统,该系统包含利用视觉基础模型构建几何语义局部地图的高效体素映射器,以及联合预测鸟瞰图下几何、语义、速度和成本的统一神经网络。

    推荐理由:该工作提出无标注的自监督训练策略,结合地图补全与逆强化学习实现越野环境下的可通行性预测与风险自适应。

  9. arXiv · 机器人与计算机视觉85

    在流匹配 VLA 策略中耦合执行视界与采样深度

    这篇论文针对机器人操作任务中实时响应与执行稳定性的平衡难题,揭示了流匹配视觉语言动作模型中数值求解器深度与执行视界之间的基础计算 - 执行耦合关系。研究发现,粗粒度数值积分虽会降低快速重规划下的精度,但能显著改善长开环承诺下的任务性能;几何上,数值截断收缩了不变轨迹质点周围的侧向动作离散度,起到了抑制累积开环漂移的隐式正则化作用。

    推荐理由:该研究揭示了流匹配 VLA 策略中执行视界与采样深度的耦合机制,在不修改架构和无需训练的情况下显著降低推理延迟并提升任务成功率。

  10. arXiv · 机器人与计算机视觉82

    月球群集机器人涌现出的合作体温调节机制

    针对 NASA CADRE 等任务中单台漫游车无法应对月夜极寒的问题,本研究利用强化学习训练共享策略,让二十个小型机器人无需位置参考或相互接触,自发形成聚集核心与边缘循环的行为模式。

    推荐理由:研究通过强化学习让二十个机器人自发形成类似帝企鹅的聚集与循环行为,在无需位置参考或接触的情况下实现热调节,使所有机器人在月夜后幸存。

  11. arXiv · 机器人与计算机视觉82

    无 fp32 主副本的 VLA 全权重微调会静默抹除大部分更新

    研究发现当 VLA 模型以 bfloat16 存储可训练权重且无 fp32 主副本时,AdamW 优化器会将小于 1/512 权重的更新静默舍入丢弃。在 LIBERO 基准测试中,移除该 fp32 副本导致 SmolVLA 和 pi_0.5 模型的成功率分别从 4.3% 提升至 49.3%、从 5.1% 提升至 80.9%,且修复方案仅需一行代码修改 LeRobot 配置。

    推荐理由:作者发现主流 VLA 微调默认配置因缺失 fp32 主副本导致更新静默丢失,提供修复方案并验证其显著提升成功率。

  12. arXiv · 机器人与计算机视觉85

    See What I Need, Dream What I Want:一种基于自构建表示空间的导航基础模型

    论文提出了 RepresentNav 导航基础模型,该模型构建了由策略自身目标驱动的视觉表示空间。通过 Representation Residuals 模块整合多模态视觉编码器特征,实现端到端训练的策略与潜在思维链联合嵌入预测架构(JEPA)。

    推荐理由:提出基于自构建表示空间的导航基础模型,在多个基准上刷新纪录并将成果迁移至实体机器人。

  13. 盖世汽车 · 汽车资讯82

    跨维智能联合高校发布TaskAnchor提升机器人长程任务能力

    跨维智能联合香港中文大学(深圳)、佛山大学、华南理工大学发布TaskAnchor技术,旨在解决长程操作中因画面信息不足导致的任务状态混淆问题。该技术通过轻量适配器接入历史信息,输出任务状态坐标并利用上下文自适应测试时训练模块补充历史视觉证据。

    推荐理由:跨维智能发布TaskAnchor,通过引入历史上下文提升预训练具身模型的长程任务成功率与状态识别能力。

  14. 盖世汽车 · 汽车资讯87

    无界动力发布并开源MWA™-Phoenix隐空间世界模型基座

    无界动力正式发布并开源MWA™-Phoenix端侧7B参数完整预训练模型,该模型在LIBERO-Plus、LIBERO-Pro等六项评测中取得领先成绩,验证了其在环境扰动与复杂操作方面的能力。

    推荐理由:无界动力发布端侧7B隐空间世界模型及仿真工具,在多项评测中验证了仅凭RGB输入完成复杂操作与真机执行的能力。

10月24日周六
  1. 量子位80

    高德发布首个基于开放世界行为的全身基座模型λ0

    阿里巴巴集团旗下高德正式发布首个基于开放世界行为的全身基座模型λ0,该模型仅依靠人类行动数据即可让机器人学习移动、姿态与双手操作的全身协调。在SIMPLE仿真基准及多项真机评测中,λ0均取得SOTA表现,数据采集效率约为主流方法的3.4倍,真机任务成功率较最强对比基线提升22.5%。

    推荐理由:高德发布首个基于开放世界行为的全身基座模型λ0,仅凭人类行动数据实现零样本迁移,并开源了相关硬件配置代码与HumanVerse数据样例。

  2. Hugging Face Daily Papers83

    EnvLunch:将环境作为交互学习的免费午餐

    针对智能体数据分析需大量标注任务的痛点,该方法提出 EnvLunch 阶段,利用可执行环境的丰富交互结构生成无标注任务,让模型仅凭最终观测恢复等效轨迹。实验显示,该预热策略使模型在各类下游训练预算下平均超越基线超 9 个点,且仅需少量标签即可达到基线需 8 至 32 倍数据量的准确率。

    推荐理由:该预印本提出利用可执行环境本身作为无标注任务来源,在下游强化学习前进行免标签预热训练,显著降低对人工标注数据的依赖。

  3. IEEE Spectrum · Robotics78

    IEEE Spectrum 视频周五:四足机器人自主解决巨型魔方

    IEEE Spectrum Robotics 发布“视频周五”栏目,精选了包括 ETH Zurich 团队展示的四足机器人利用 Reflex 框架自主解决巨型魔方在内的多项具身智能成果。内容还涵盖了 KAIST 人形机器人的全身操控、生物混合机器人及 SuperMimic 等仿真加速技术,旨在呈现当前机器人在视觉反应与全身控制领域的最新进展。

    推荐理由:该视频合集展示了四足机器人自主解巨型魔方等全身操控能力,为评估具身智能在复杂动态任务中的进展提供了直观参考。

10月23日周五
  1. arXiv · 机器人与计算机视觉82

    FluxVLA Engine:面向具身智能的一站式 VLA 工程平台发布

    FluxVLA Engine 是一个开源的配置驱动型工程平台,旨在将异构的具身策略组件转化为可复现的数据至部署工作流。该平台标准化了数据集、视觉语言与世界模型接口,集成了双臂仿真、自动数据生成及人机协同修正功能,并通过实时分块与加速推理后端支持物理执行。代码已公开于 arXiv 链接,解决了阻碍具身学习算法可靠部署的工程瓶颈。

    推荐理由:FluxVLA Engine 提供统一配置驱动平台,整合仿真、数据生成与实时推理接口,解决具身策略从算法到部署的工程碎片化问题。

  2. arXiv · 机器人与计算机视觉82

    UniMem:为 VLA 统一视觉与文本记忆以应对非马尔可夫任务

    针对现有 VLA 模型在处理需记忆的长程任务时面临的瓶颈,本文提出 UniMem 框架,在单一骨干网络下统一高层视觉/文本记忆与低层控制。该方法利用事件分类器触发更新、关键帧编码器构建密集记忆并采用缓存技术降低开销。

    推荐理由:UniMem 框架统一视觉与文本记忆,在仿真和硬件任务中显著优于固定间隔采样及分层 VLM-VLA 基线。

  3. arXiv · 机器人与计算机视觉87

    ReactiveBFM:面向通用类人机器人全身控制的反应式闭环运动规划

    针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。

    推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。