跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 25 页

10月22日周四第 481–500 条
  1. arXiv · 机器人与计算机视觉78

    ReStruct:基于物理感知的任务结构重配置实现推理时机器人行为引导

    论文提出了 ReStruct 方法,旨在解决部署学习到的机器人策略时的推理时行为引导难题,即在无需重新训练的情况下将策略导向用户偏好。该方法构建于神经自动机策略之上,将其分解为捕捉任务结构的高层状态机骨架和表示残差策略的低层连续控制器。

    推荐理由:提出 ReStruct 方法,通过重构任务结构实现推理时行为引导,在仿真与真实世界中均优于现有方法及 VLA 模型。

  2. arXiv · 机器人与计算机视觉78

    μ_0:一种可扩展的 3D 交互痕迹世界模型

    论文提出了 μ_0,这是一种基于 3D 轨迹的可扩展世界模型,旨在通过预测物体、工具及接触区域的平滑 3D 轨迹来替代像素重建或直接动作建模,从而实现无需具身特定标签的机器人学习。

    推荐理由:该工作提出基于 3D 轨迹的世界模型,无需动作标签即可实现跨机器人泛化,预训练版本已接受 CoRL 2026。

  3. arXiv · 机器人与计算机视觉78

    MiTaS:面向接触丰富操作的多分辨率触觉模仿学习研究

    该论文提出多分辨率触觉感知框架 MiTaS,利用模态特定卷积主干与 Transformer 融合机制,整合 RGB 相机、GelSight Mini 传感器及高频事件驱动 Evetac 传感器的信息。系统性实验在五项接触丰富的操作任务中验证了该方法的有效性,平均成功率为 80%,而纯视觉基线仅为 35.5%。该成果已提交至 CoRL 2026 会议,预印本发布于 arXiv。

    推荐理由:该工作提出多分辨率触觉表征框架 MiTaS,融合 RGB、GelSight 与事件相机数据,在五项接触丰富任务中平均成功率达 80%,显著优于纯视觉基线。

  4. arXiv · 机器人与计算机视觉78

    让事情保持简单:视觉语言动作模型的一步动作生成方法

    论文提出针对视觉语言动作模型(VLA)的高效一步生成策略。研究发现,仅将训练时间步分布偏向噪声端点,即可在 LIBERO、CALVIN 等基准上获得强单步策略;对于开源 VLA 模型,简单替换迭代解码为单次前向传播即可达到与多步解码相当的效果。

    推荐理由:研究发现 VLA 因条件 - 目标结构特性,仅需调整时间步分布即可实现高效单步动作生成,无需蒸馏或专用目标。

  5. arXiv · 机器人与计算机视觉78

    反馈式世界模型实现扩散策略的精准引导

    针对世界模型在分布外状态预测不可靠的问题,本文提出一种推理时的反馈机制,利用执行后的真实观测在线校正预测偏差。该方法引入动作感知引导以优化控制翻译,并在 LIBERO-Plus、Robomimic 及实物操作任务中显著提升了策略性能,将预测误差降低最高达 76.4%。实验证明该机制可即插即用,能改进预训练基础模型 Fast-WAM-Joint 的预测效果而无需更新其参数。

    推荐理由:提出推理时反馈机制,无需额外训练即可修正预测误差并提升策略性能。

  6. arXiv · 机器人与计算机视觉78

    ExtremControl:低延迟人形机器人遥操作与缩放速度前馈

    论文提出 ExtremControl 低延迟全身控制框架,通过底层加入缩放速度前馈减少约 70ms 跟踪延迟,并直接在 SE(3) 位姿上操作以避开关节空间重映射。系统支持光学动作捕捉与 VR 追踪,端到端延迟低至 50ms,实现了乒乓球平衡、抛接球等现有遥操作无法完成的任务。

    推荐理由:提出 ExtremControl 框架,通过速度前馈与 SE(3) 位姿控制将端到端延迟降至 50ms,支持乒乓球平衡等新任务。

  7. arXiv · 机器人与计算机视觉78

    AFFORD2ACT:稀疏关键点在机器人操作中的极限探索

    AFFORD2ACT 研究仅用稀疏视觉表征进行机器人操作的可行性。该方法利用现成的语言条件化 affordance 模型定位任务相关区域,选取最多 15 个物体关键点和 4 个末端执行器关键点(共 19 个点),并辅以轻量门控机制决定注意力分配。

    推荐理由:该工作证明仅用 19 个稀疏关键点即可在六项真实机器人任务中超越 RGB/Dense 基线,平均成功率达 82%,为紧凑状态表示提供了新范式。

  8. arXiv · 机器人与计算机视觉82

    AgiBot World Colosseo:大规模具身智能操作平台与通用策略开源

    论文介绍 AgiBot World Colosseo 平台,包含超百万条轨迹覆盖 217 个任务及五种部署场景,通过标准化采集管线保证数据质量与多样性。

    推荐理由:Agibot World 发布百万级轨迹数据集与 GO-1 通用策略,预训练模型在域内及分布外场景均提升 30% 性能。

  9. arXiv · 机器人与计算机视觉84

    CW-WAM:一种用于力敏感操作的结构化接触 - 力矩世界动作模型

    该论文提出 CW-WAM,这是一种联合预测视频、运动和接触力矩的世界动作模型。它采用混合运动 - 力控制灵感,包含统一交互模块和成对因果注意力机制,利用长固定长度力矩记忆保留过去交互信息。

    推荐理由:该工作提出 CW-WAM 模型,结合接触力矩预测与慢快控制架构,将方柱插入成功率从 25% 提升至 70%,为力敏感操作提供了新的参考。

  10. arXiv · 机器人与计算机视觉83

    ASTEROID:一种基于不对称同策略蒸馏的测试时探索学习框架

    针对部分可观测环境下的序列决策难题,本文提出 ASTEROID 框架,利用学生 - 教师监督学习架构实现高效的测试时探索。该方法让学生先收集同策略上下文,再由特权专家提供条件化动作标签,使学生学会在不确定时搜索、揭示隐藏状态后利用。

    推荐理由:提出 ASTEROID 框架,通过不对称同策略蒸馏让学生在部分可观测环境下学会测试时探索,仿真转现实成功率提升 40%。

  11. arXiv · 机器人与计算机视觉82

    AtomicRL:面向长视界机器人操作的原子强化学习

    针对 VLA 模型在复杂长视界技能学习中面临的延迟信用分配与子任务掌握不平衡问题,本文提出 AtomicRL 框架。该方法引入语义感知策略优化(SAPO)以约束跨任务边界的信用污染,并通过瓶颈自适应目标探索(BATE)动态协调采样与局部探索。

    推荐理由:提出 AtomicRL 框架解决长视界操作中的信用分配与瓶颈问题,在仿真及真机部署上均优于 PPO。

  12. arXiv · 机器人与计算机视觉85

    Test-Time Motion Steering for Perceptive Humanoid Fall Recovery

    论文提出了 RISE 方法,旨在让人形机器人在跌倒后根据场景和任务需求灵活选择恢复姿势与路径。该方法通过学习恢复词汇表连接意图与动作,并利用视觉扩散规划器预测未来状态以引导运动生成。实验在仿真中展示了多样化的恢复策略、地形适应及无需重训练的测试时导向能力,并在宇树 G1 机器人上进行了实物演示。材料为预印本版本,仅包含摘要信息。

    推荐理由:该工作提出 RISE 方法,利用视觉扩散规划器在推理阶段引导人形机器人跌倒恢复策略,支持任务目标导向的多样化动作生成。

  13. arXiv · 机器人与计算机视觉83

    SP-HLM:基于稀疏姿态驱动的人形机器人全身控制与运动生成方法

    论文提出了 SP-HLM 框架,旨在解决人形机器人全身操控中高层策略与底层控制的接口问题。该框架采用稀疏姿态驱动机制,结合任务关键的五个体位与学习得到的潜在运动先验来表征空间意图和全身协调。

    推荐理由:该工作提出稀疏姿态驱动的人形机器人全身控制框架,通过解耦任务意图与运动协调,在仿真及真机实验中提升了人形机器人的运动跟踪与操作成功率。

  14. arXiv · 机器人与计算机视觉84

    DONIC:基于人类演示的双手通用灵巧追踪控制

    论文提出了 DONIC,这是首个联合训练于不同操作类别和人类运动源的双手通用追踪器,并发布了包含 1,575 序列的 BiHOI 数据集。该方法结合近端策略优化与行为克隆,利用对象中心奖励和 Clip-Centered Advantages 等技术,使单一策略能在异构参考下学习协同操作。

    推荐理由:论文提出 DONIC 模型与 BiHOI 数据集,解决双手协同操作难题,在未见轨迹上成功率显著超越现有基线。

  15. arXiv · 机器人与计算机视觉78

    HuMiT:基于紧凑参考跟踪的低延迟全身人形机器人遥操作系统

    针对优化重定向管道和未来帧条件引入的计算延迟问题,本文提出 HuMiT 系统,其统一跟踪策略仅需当前帧的根高度、速度及四个稀疏关键点 SE(3) 姿态作为紧凑参考目标。实验显示该系统在头戴设备流与策略输出间实现约 20ms 通信推理延迟,跨不同运动类型的光流延迟中位数为 65ms。研究在宇树 G1 人形机器人上验证了系统,展示了接住抛球等秒级反应能力及协调的行走操作能力。

    推荐理由:提出仅需稀疏参考目标的低延迟全身遥操作策略,在 Unitree G1 上实现约 20ms 通信推理延迟与 65ms 光流延迟。

  16. arXiv · 机器人与计算机视觉82

    UniRAP:面向统一的部分级物理交互推理与可行动感知

    该论文提出了 UniRAP 统一模型,旨在解决将高层语义映射到部分级物理交互的难题。模型通过统一接口令牌机制整合视觉输入、文本指令和可选提示词,并引入统一动作解码器(UAD)联合执行目标检测、部分级功能分割及四自由度交互姿态估计。

    推荐理由:该工作提出统一模型 UniRAP,在部分级物理交互推理与可执行感知任务上达到最先进水平。

  17. arXiv · 机器人与计算机视觉78

    针对视觉语言动作策略的后验认识论不确定性方法

    论文提出一种名为 Post-hoc Epistemic Uncertainty 的方法,通过为单策略模型附加无需梯度更新的核方差头来估计认识论不确定性。该方法在 SmolVLA 上验证了其在任务相关性、主动学习演示获取及向更强监督者转介方面的有效性,且推理速度比双策略集成快约 50 倍。

    推荐理由:提出无需训练即可附加的单策略后验不确定性头,在 LIBERO-10 上媲美双策略集成效果并大幅降低计算成本。

  18. arXiv · 机器人与计算机视觉78

    迈向物理 AI 的递归自我改进:从行为优化到过程进化的评估原则

    该论文探讨如何将数字代理中的递归自我改进(RSI)机制迁移至物理世界,重点分析在部分观测、昂贵试错及不可逆后果下实现系统自优化的条件。作者梳理了现有研究在操作任务中支持的行为改进与流程优化成果,指出当前物理领域尚未完全隔离出由递归带来的增益。文章据此提出评估原则并指明未来研究方向,旨在建立机器人在反复试验中安全提升自身改进能力的理论框架。

    推荐理由:文章提出将递归自我改进机制引入物理世界的评估原则与研究路径,为机器人能力与生成过程的协同进化提供理论框架。

  19. arXiv · 机器人与计算机视觉78

    Make it Walk:基于计算的乐高步行器设计方法

    本文提出了首个能够设计支持多种步态的稳定乐高步行器的计算解决方案。该方法首先通过专门设计的齿轮连杆机构控制每条腿的足部运动轨迹,利用一对 3D 打印的非圆形齿轮与乐高机械结构配合;其次由独立电机驱动每条腿,并通过简单且适应性强的控制算法同步多条腿的运动时机。

    推荐理由:提出首个计算设计框架,通过非圆形齿轮与独立电机协同实现乐高步行机器人的多步态稳定行走。

  20. arXiv · 机器人与计算机视觉78

    基于欧氏距离场的强化学习实现鲁棒避障

    论文提出一种将欧氏距离场(EDF)直接整合进观测空间的强化学习框架,利用其丰富的空间信息简化奖励函数设计,实现了无需人工势场引导的有效避障。该方法在 7 自由度冗余机械臂上验证了从仿真到实体的零样本迁移能力,尽管仅用随机化静态物体训练,策略仍能泛化至未见过的真实环境并稳健地规避动态障碍物。材料为预印本状态,已接受于 IROS 2026。

    推荐理由:该工作将欧氏距离场融入 RL 观测空间,在仿真中训练的策略实现了零样本迁移到真实机械臂,且能应对动态障碍物。