跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 18 页

10月30日周五第 341–360 条
  1. arXiv · 机器人与计算机视觉82

    RoboSeed:VLA 与世界动作模型的多维评估框架

    论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。

    推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。

  2. arXiv · 机器人与计算机视觉84

    LOGIV:用于长程机器人任务的因果验证执行与局部修复框架

    论文提出 LOGIV 框架,利用显式任务图连接符号规划、观测验证与具身动作,在现有 VLA 和世界动作模型策略之上运行。实验显示,该框架在不注入干扰时将 RoboTwin~V2 和 BiCoord 基准的平均任务成功率分别提升 10.67 和 15.33 个百分点;在预设扰动下表现优于三种恢复基线;在三项真实机器人任务中成功尝试数从 12/30 增至 17/30。

    推荐理由:提出 LOGIV 框架,通过显式任务图与因果局部修复机制,在不增加可训练组件的前提下提升长程机器人任务的鲁棒性与成功率。

  3. arXiv · 机器人与计算机视觉82

    压缩型方向可达性图用于亚秒级机器人穿刺点规划

    针对多阶段轨迹规划中运动学可行入口点识别的计算瓶颈,本文引入方向可达性图(ORM),预计算 6 自由度串联操作臂在 188,873 个工作位姿下的运动学可行性。

    推荐理由:提出基于方向的可达性图方法,将机器人穿刺点规划延迟从十余秒降至亚秒级。

  4. arXiv · 机器人与计算机视觉82

    思考型 VLM 的细粒度感知:局部化 - 头部对齐

    针对思考型视觉语言模型在高分辨率图像中遗漏细节的问题,研究提出利用注意力头作为训练信号的对齐方法。该方法让模型在学习推理陈述视觉事实时,将注意力聚焦于关键区域而非背景,从而提升细粒度感知准确率。

    推荐理由:提出利用注意力头作为训练信号的对齐方法,在无需多轮推理的情况下提升细粒度视觉任务准确率。

  5. arXiv · 机器人与计算机视觉82

    从推理到行动:基于后果的对齐框架用于视觉语言动作模型

    论文介绍 CoRAct 框架,旨在解决现有具身智能模型中推理与动作生成仅隐式关联的问题。该方法将运动指定和路径点作为可验证信号,利用混合 Transformer 架构联合建模推理、动作生成及未来预测。通过在动作噪声空间进行奖励引导的优化,使生成的动作与预期后果显式对齐。实验在 RoboCasa、VLABench 及真实操作任务中均显示出优于强基线的效果,并支持零样本适应新场景。

    推荐理由:提出 CoRAct 框架,通过奖励引导优化将 VLA 模型的推理与动作显式对齐,提升任务成功率与泛化能力。

  6. arXiv · 机器人与计算机视觉78

    解码几何而非 Token:用于机器人功能与轨迹预测的高效视觉语言模型

    论文指出视觉语言模型将坐标离散化为文本进行自回归解码会忽略空间结构并累积误差。作者提出在冻结骨干网络后附加轻量级几何兼容预测头,直接回归连续的功能框和轨迹关键点。实验显示该方法在 ShareRobot-Bench 上将功能预测 mAP 提升 85%,轨迹预测误差降低超 60%,吞吐量是基准的 3.8 倍,接近 RoboBrain 水平。

    推荐理由:该工作证明冻结骨干网络的 VLM 中间层已包含丰富空间信息,通过轻量几何头即可将轨迹预测误差降低超 60%。

  7. arXiv · 机器人与计算机视觉78

    UMI-Live:面向野外数据采集的双手通用操作接口系统发布

    UMI-Live 是一套全栈开源的双手通用操作接口(UMI)系统,旨在无需物理机器人遥操作即可采集数据。该系统集成了相机与激光雷达惯性传感、板载计算及电源,无需外部追踪设备或环境内校准。

    推荐理由:开源了无需外部追踪的双手 UMI 硬件与软件栈,提供同步 SLAM 重建与 VLA 策略训练支持。

  8. arXiv · 机器人与计算机视觉82

    Utility-WAM:修正由未来预测引发的动作变化

    世界动作模型(WAMs)可利用生成的视觉未来条件化机器人动作,但这会增加推理延迟且对某些任务产生负面迁移。本文提出 Utility-WAM 方法,在冻结共享 WAM 检查点的基础上引入残差适配器来修正速度偏差,并采用轻量级预生成门控机制复用反事实结果以跳过部分视频生成。

    推荐理由:提出 Utility-WAM 方法,通过残差适配器修正未来诱导的动作偏差并引入预生成门控机制,在保留长程预测优势的同时显著降低延迟与精度任务失败率。

  9. arXiv · 机器人与计算机视觉78

    SONIC-K1:将通用人形机器人动作追踪器移植到单 GPU 的小型人形机器人

    论文介绍了 SONIC-K1,这是据称首个针对 Booster K1 人形机器人的开源全身体动作追踪器。该策略在单块共享 GPU 上从头训练,计算资源远低于原始 SONIC 框架。仿真结果显示其能追踪大部分未见过动作片段并在外部基准测试中表现良好;真实机器人上可追踪上半身及慢速运动,但步态和转向可靠性较低且对动作延迟敏感。代码、策略权重与评估工具已公开。

    推荐理由:作者将 SONIC 框架适配至 Booster K1,在单 GPU 上实现全身动作追踪,公开了策略权重与评估工具。

  10. arXiv · 机器人与计算机视觉78

    ProLoop:基于结构化状态关系的长视界机器人任务规划闭环框架

    针对 LLM 规划中子目标进度推断不准确导致错误传播的问题,本文提出 ProLoop 框架。该框架通过学习到的状态关系监测器,从期望与执行状态的关联中显式推导子目标的持续、偏离或完成状态,并据此指导执行适应。实验表明,该方法在 AgentBoard ALFWorld 和真实机器人平台上整体成功率提升 12.94%,困难任务提升 15.46%,同时减少环境交互次数 32.3%。

    推荐理由:提出 ProLoop 框架,通过结构化状态关系显式评估子目标进度,在 AgentBoard ALFWorld 及真实机器人平台上提升成功率并减少环境交互。

  11. arXiv · 机器人与计算机视觉78

    OpenFlyV2:一种用于空中感知与导航的机载视觉语言动作模型

    论文提出了 OpenFlyV2,这是一种统一的机载视觉 - 语言 - 动作架构,旨在解决现有系统依赖离板计算或无法在资源受限平台上维持闭环运行的问题。该模型利用共享的视觉 - 语言表示支持语义理解、基于语言的感知、空间推理和连续空中控制,并通过紧凑的动作专家将多模态上下文转换为短时程飞行航点。

    推荐理由:该工作提出统一机载视觉语言动作架构,实现零样本仿真到真机四旋翼飞行迁移,代码将公开。

  12. arXiv · 机器人与计算机视觉78

    基于上下文中行为适应的跨控制器迁移方法

    针对通用机器人策略通常假设单一控制器的局限,本文研究如何在不同控制器及增益设置间进行数据迁移而不产生冲突解释。提出的框架通过编码指令动作与机器人运动的行为交互示例,利用 Transformer 上下文编码器实现单策略在上下文中的自适应。

    推荐理由:提出通过上下文行为适应实现跨控制器与本体策略迁移,在接触类任务中显著提升成功率。

  13. arXiv · 机器人与计算机视觉78

    Event2Reward:从任务进展关系中学习机器人奖励

    针对机器人强化学习中绝对任务进度难以标注的问题,本文提出 Event2Reward 方法,结合归一化时间锚点与轨迹内局部相对进度约束来构建稠密塑形奖励。作者在约 10 万条真实机器人执行记录(含成功、次优及失败案例)上构建了事件标注数据集,无需帧级绝对进度标签即可训练。

    推荐理由:提出 Event2Reward,利用轨迹内相对进度关系解决绝对进度未知时的奖励塑造难题。

  14. arXiv · 机器人与计算机视觉80

    EgoContact:基于第一人称视频的物理智能评估基准

    论文发布了 EgoContact 数据集,包含 2.25 万条人工校验的交互事件,每条数据均标注预接触观测、语义意图及像素级精确接触位置。研究指出当前方法在预测精确交互接触点及复杂场景目标定位上存在不足。实验表明,将 EgoContact 作为现有策略的记忆库可显著提升性能:仿真环境下抓取成功率从 14.2% 提升至 31.2%,真实机器人上从 16% 提升至 58%。

    推荐理由:该工作构建了首个以未来接触点预测为核心的大规模第一人称数据集,并验证了其在提升仿真与真实机器人抓取成功率上的显著效果。

  15. arXiv · 机器人与计算机视觉82

    Tactus:一款用于自然灵巧性数据收集的触觉与姿态感知手套

    Tactus 是一款集成纺织传感的手套,通过薄型化设计、电容式触觉传感器和 IMU 融合姿态追踪,解决了指尖力觉测量与手部遮挡下的姿态跟踪难题。材料给出了最小可探测力为 0.59 N(置信度 95%),跨参与者一致性达 0.87,并在重度遮挡下保持 11.0 mm 的指尖关键点相对误差。

    推荐理由:原文给出了触觉手套的硬件指标与跨平台基准评测结果,相关团队可据此评估其是否适合现有数据采集流程。

  16. arXiv · 机器人与计算机视觉81

    ELEVATE:基于任务失败的四足机械臂控制器获取框架

    论文提出 ELEVATE 框架,通过识别任务规划中的持续失败来自动获取缺失的全身控制能力。系统从单个预训练控制器出发,自主习得了墙支撑提升、受助操作和下降等七项仿真任务的控制策略,并在后续任务中复用这些控制器。

    推荐理由:该框架利用任务失败自动获取缺失的全身控制能力,并在仿真与物理机器人上验证了跨任务迁移效果。

  17. arXiv · 机器人与计算机视觉82

    METATRON:一种面向人形机器人的可提示词驱动全身执行层

    论文介绍 METATRON,这是一种结合生成式基础策略与可编程技能层的可提示词全身执行架构。基础策略接收包含时间目标、速度指令和风格线索的提示词,输出协调运动;训练数据融合动作捕捉、合成恢复轨迹及重定向场景交互。

    推荐理由:提出可被提示词驱动的全身执行层,将编程技能与生成式策略结合,在物理机器人上实现多任务冻结策略。

  18. arXiv · 机器人与计算机视觉83

    Echo:一种通过离线经验扩展视觉强化学习的单阶段框架

    针对视觉强化学习中渲染与推理成本高昂的问题,本文提出了 Echo 方法,这是一种单阶段的离线强化学习框架。该方法利用基于状态的辅助策略进行逆蒸馏,收集无需渲染的低成本经验,并通过共享特权评论器直接改进视觉策略。

    推荐理由:提出单阶段离线强化学习框架,利用逆蒸馏收集无渲染经验以加速视觉策略训练。