跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 39 页

10月6日周二第 761–780 条
  1. arXiv · 机器人与计算机视觉82

    Robotic Long-Horizon Manipulation with Progressive In-Context Code Generation and Episodic Feedback

    论文提出了 DAHLIA 框架,将长时程机器人操作视为集体验证任务规划问题。该方法利用渐进式组织的上下文示例与思维链推理引导大语言模型合成可执行代码计划;同时基于视觉语言模型的报告器仅在每轮执行后评估结果并提供结构化反馈以重规划,从而在部分可观测性下提升鲁棒性。

    推荐理由:该工作提出 DAHLIA 框架,利用渐进式上下文代码生成与集体验证机制解决长序列任务规划问题。

  2. arXiv · 机器人与计算机视觉78

    OGAM:通过对象接地注意力监控连接系统测试与运行时保障

    针对基准测试指令有限且无法进行穷举部署测试的问题,本文提出 OGAM 方法,利用成功与失败执行间的注意力发散信号实现运行时干预。研究在 OpenVLA、OpenVLA-OFT、UniVLA 和 pi_0.5 等四个策略上验证了该方法:通过成对组合动作模板与对象生成场景接地指令并测试同义改写,发现所有 87 个基准外案例均存在问题行为且无法完成任何可行指令。

    推荐理由:该方法利用对象 grounding 的注意力监控,在无需失败标签训练下即可在线拦截 VLA 策略执行中的异常行为。

  3. arXiv · 机器人与计算机视觉78

    RAGrasp:一种基于几何 - 语义模板检索与抓取迁移的框架

    论文提出了 RAGrasp 框架,利用部署相机、机器人和夹爪采集的本地 RGB-D 模板构建记忆库,无需端到端重训练即可适应局部感知条件。系统结合自监督 DINOv2 特征与 SAM2 分割模型定位物体,通过两阶段检索选择模板并迁移抓取策略,经掩码支撑与轮廓接触约束优化后完成 2D-3D 转换。

    推荐理由:该工作提出基于本地模板检索的抓取迁移框架,在有限标注下实现平面平行夹爪对已知与未知物体的高成功率抓取。

  4. arXiv · 机器人与计算机视觉78

    DexForge:一种高保真物理驱动的灵巧重定向框架

    DexForge 是一个基于可微物理的框架,用于将人类视频演示转化为高保真的机器人轨迹。该方法重建球状高斯物体模型和手 - 对象运动,构建结合高效高斯碰撞检测的可微仿真器,并融合接触感知的运动学重定向与力感知的动力学重定向以精确复现物理运动。

    推荐理由:提出基于可微物理的框架,将人类演示转化为高保真机器人轨迹,在七种灵巧手实验中将成功率提升约 35-53 个百分点。

  5. arXiv · 机器人与计算机视觉78

    Wiring Matters:Vision-Language-Action 策略中 Affordance Head 的注入拓扑与初始化研究

    该论文针对 Vision-Language-Action(VLA)策略在引入密集辅助信号时易损害指令遵循的问题,提出了一种受控接入方案。研究通过停止梯度保护主干网络,并对比了不同的注入拓扑结构与桥接初始化方式,发现主动初始化的残差桥接结构能以极小参数开销达到最优性能。实验表明,仅将真值作为输入会干扰模型,而推理时零化操作显示该桥接主要起训练正则化作用,激活后则承担负载。

    推荐理由:本文通过受控实验揭示了在 VLA 策略中接入辅助信号的关键工程细节,指出初始化方式对性能的主导作用及主动桥接机制的必要性。

  6. arXiv · 机器人与计算机视觉78

    VLA-ZO:面向视觉语言动作模型的快速零阶自适应框架

    论文 VLA-ZO 针对大模型部署时的显存限制,提出一种仅作用于动作侧的零阶优化框架,在保持视觉语言前缀冻结的同时大幅降低适应时间并提升任务成功率。实验显示,该方法将端到端适应时间减少了约 25.6 倍至 32.5 倍,同时将 LIBERO 基准上的平均任务成功率从 48.27% 提升至 63.58%,为资源受限环境下的 VLA 模型自适应提供了新路径。

    推荐理由:针对大模型部署时的显存限制,提出一种仅作用于动作侧的零阶优化框架,在保持视觉语言前缀冻结的同时大幅降低适应时间并提升任务成功率。

  7. arXiv · 机器人与计算机视觉78

    I-BFM:基于奖励条件的人形机器人鲁棒交互行为基础模型

    论文介绍 I-BFM,据称是首个针对人形机器人与物体交互的行为基础模型(BFM)。该模型利用前向 - 后向表示和无监督强化学习,学习人形、物体及其接触点之间的耦合动力学共享表征。

    推荐理由:该工作提出首个面向人形机器人与物体交互的行为基础模型,通过无监督强化学习实现单一策略对多种任务的闭环控制。

  8. arXiv · 机器人与计算机视觉84

    Conditional Trajectory Peaks:单次通过多模态策略框架

    论文提出了 Conditional Trajectory Peaks (CTP) 框架,旨在解决多模态模仿学习中同一观测下需生成多样化可执行未来及重规划周期行为一致性的问题。

    推荐理由:该工作提出单次通过多模态策略框架,在多个基准及真实双臂实验中验证了其在覆盖度、成功率与推理延迟上的综合优势。

  9. arXiv · 机器人与计算机视觉82

    自适应均值流:面向高响应闭环控制的机器人策略新方法

    针对扩散与流基机器人策略因迭代去噪导致预测延迟、阻碍高频闭环控制的问题,本文提出自适应均值流(AMF)方法。该方法利用加速的流匹配技术最小化延迟,并通过结合上一时刻轨迹的噪声版本来确保预测平滑性与一致性,在模拟及真实机器人任务中显著优于基线。代码已开源。

    推荐理由:提出自适应均值流方法解决扩散策略延迟问题,实现高响应闭环控制。

  10. arXiv · 机器人与计算机视觉78

    VLAs 是否理解并适应所操作的物体?还是仅仅重放已学行为?

    本文探讨了视觉语言动作模型(VLA)的泛化能力是源于对物体物理属性的全局理解以适配未见场景,还是仅靠偶然鲁棒性重放已学行为。研究通过线性探测和表征相似性分析发现,在七种主流 VLA 中,质量、易碎性等物理属性比语义类别等属性更难解码;机器人预训练反而削弱了语言流中对物理属性的线性编码。

    推荐理由:该研究通过线性探测与表征相似性分析,发现主流视觉语言动作模型对物体质量等物理属性的编码较弱,且在任务中难以据此调整运动策略。

  11. arXiv · 机器人与计算机视觉78

    MagServo:基于学习隐式特征的不确定性强韧分层磁致动

    论文 MagServo 提出了一种分层学习框架,利用掩码重建学习不确定性强韧的磁特征表示,并在无需解析模型或显式雅可比监督的情况下捕捉机器人运动与磁状态间的交互动力学。

    推荐理由:该工作提出基于学习隐式特征的磁致动框架,在无需解析模型的情况下实现了亚毫米级精度与强鲁棒性。

  12. arXiv · 机器人与计算机视觉82

    欠驱动双足机器人无碰撞运动的分层强化学习研究

    针对欠驱动双足平台难以在不破坏平衡的情况下避障的问题,论文提出一种分层强化学习框架:高层策略输出全身速度指令,低层策略通过 PD 控制跟踪关节目标,两者联合训练。

    推荐理由:论文提出分层强化学习框架解决欠驱动双足机器人的避障运动,在 PyBullet 仿真中实现高成功率并验证了各观测通道与奖励项的贡献。

  13. arXiv · 机器人与计算机视觉78

    面向超声机器人的双速率力 - 图像控制与基于模型的方位角限制

    针对超声机器人在高频率接触力环路与延迟图像反馈耦合下易扰动力的问题,研究推导了考虑扰动的闭式方位角速率上限公式,并在凝胶体模型上验证。相比无约束引导,该控制器将首秒均方根估计力误差降低 0.40 N,收敛时间增加 0.94 s;固定速率上限在接近理论天花板时未显著改变力误差但收敛快 0.32 s,表明模型主要价值在于提供速率设计规则而非在线预测。

    推荐理由:提出基于模型的方向速率限制控制器,在超声机器人操作中降低力误差并加速收敛。

  14. arXiv · 机器人与计算机视觉78

    基于多目标强化学习的四足机器人无传感器堆叠货物运输方法研究

    针对四足机器人在不平坦地形上运输无固定堆叠货物的难题,本文提出 Payload-Adaptive Multi-Objective Reinforcement learning for Transportation (PAMORT) 框架。

    推荐理由:提出 PAMORT 多目标强化学习框架,在仿真与宇树 Go2 真机零样本迁移中实现无传感器堆叠货物稳定运输。

  15. arXiv · 机器人与计算机视觉82

    Bilinear Flow Policy:面向未见目标的视觉运动模仿学习新框架

    针对条件模仿学习中面对未见目标时多模态行为坍缩的问题,本文提出 Bilinear Flow Policy(BFP)。该方法利用预训练视觉特征和新型锚点选择算法,将未见观测 - 目标对分解为熟悉锚点与残差项,并通过双线性流建模其联合决定的动作分布。

    推荐理由:提出结合归纳检索与双线性流的生成策略,在仿真中实现比基线高 2.63 倍的未见目标成功率。

  16. arXiv · 机器人与计算机视觉83

    RACE:基于可靠动作块扩展的视觉语言动作模型框架

    针对 VLA 模型因频繁调用策略导致的停顿问题,本文分析发现长动作块内的错误集中在操作子技能转换处。为此提出 RACE 框架,利用辅助一步去噪预测切换时机并以此调节动作生成。在仿真基准中,RACE 在更长动作块下成功率优于微调及近期 SOTA;在真实机器人上,使用 4 倍长动作块将空闲时间减少约 5 倍且成功率更高。代码与演示已公开。

    推荐理由:原文分析了长动作块中的错误集中点,提出通过辅助去噪预测切换时机来降低误差。

  17. arXiv · 机器人与计算机视觉78

    无数据集的人形机器人顺应式行走 - 操作:动态在线姿态调整

    OCLO 是一种无需人类运动数据即可训练的人形机器人全身行走与操作系统,仅通过两个末端执行器目标进行指令输入。该系统利用解析可达性先验在线生成骨盆高度和躯干朝向,并通过策略闭环采样优化任务无关成本;同时学习全身顺应性以应对外部负载。

    推荐理由:OCLO 系统无需人类运动数据,通过解析可达性先验与策略闭环采样实现人形机器人全身协调与顺应控制。

  18. arXiv · 机器人与计算机视觉82

    EvoMem-VLA:用于长程机器人操作的演化记忆视觉语言动作模型

    针对现有 VLA 模型依赖当前观测而丢失历史证据的局限,论文提出 EvoMem-VLA,通过显式编码状态间的变化来构建演化记忆,使策略能追踪任务进度。该方法引入条件 Delta Tokenization 将有序帧对编码为方向性标记,并利用共享 VLM 骨干网络实现任务自适应路由:长程任务走直接动作路线,多阶段任务则生成可执行子任务作为额外输入。

    推荐理由:提出 EvoMem-VLA,通过显式编码状态变化证据解决长程任务记忆缺失问题,在仿真与真实机器人上均优于现有最先进方法。

  19. arXiv · 机器人与计算机视觉78

    VICON:基于视觉 - 惯性 - 接触的灵巧操作手物追踪框架与数据集发布

    针对灵巧操作中手物交互的遮挡与力觉缺失问题,该研究提出 VICON 框架,通过集成带接触传感的视觉惯性手套与 RGB-D 相机,在无 CAD 模型下融合可见性、力敏电阻测量与手部运动先验来估计物体位姿。

    推荐理由:该工作提出融合视觉、惯性与接触感知的追踪框架,在严重遮挡下显著降低失败帧率并构建同步数据集。

  20. arXiv · 机器人与计算机视觉85

    通过预测不确定性触发通用主义推理的双系统 VLA 方法

    针对双系统视觉语言动作模型中通用推理模块固定频率调用的静态策略浪费计算资源的问题,提出 TUD 自适应推理框架。该方法利用缓存上下文下的动作重预测跨步离散度作为预测不确定性信号,无需人工标注或辅助模型即可动态跳过不必要的通用调用。在 VLA-Arena 基准测试及真实机器人实验中,TUD 在匹配调用预算下实现了更高的成功率,并将通用模型调用次数减少了 75%,同时有效分离成功与失败的轨迹。

    推荐理由:提出基于预测不确定性的自适应推理框架,在保持低开销的同时显著降低通用模型调用次数并提升成功率。