跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 5 页

11月13日周五第 81–100 条
  1. arXiv · 机器人与计算机视觉82

    两步思考:利用自 grounding 验证缓解 MLLM 一致性偏差

    论文评估了跨 13 个模型和 28 种设计的 MLLM 验证器,发现其存在严重的‘一致性偏差’(过度认可代理行为)。作者提出 SGV 方法,通过先生成行为先验再基于此进行推理判断,显著提升了失败检测率和准确率。

    推荐理由:提出 SGV 方法缓解 MLLM 验证器的一致性偏差,在 OSWorld 等任务中提升完成率达 20pp。

  2. arXiv · 机器人与计算机视觉82

    AnyCamVLA:一种无需微调即可实现视点鲁棒的视觉语言动作模型相机自适应方法

    针对视觉语言动作模型(VLAs)在特定环境部署需微调且对相机视角变化敏感的问题,本文提出 AnyCamVLA 零样本相机自适应框架。该方法利用前馈新视图合成模型,在测试时将实时观测的图像虚拟调整为与训练配置匹配的目标视角,无需额外演示数据、策略微调或架构修改。

    推荐理由:提出无需微调的零样本相机自适应框架,通过实时合成目标视角图像提升 VLA 在真实场景中的鲁棒性。

  3. arXiv · 机器人与计算机视觉78

    一种融合触觉的双层框架用于鲁棒的基于模型的在手中操作

    针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。

    推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。

  4. arXiv · 机器人与计算机视觉85

    UAV-Flow++:统一的语言引导无人机飞行评测与学习套件

    针对语言引导无人机导航长期侧重长程规划而忽视短距物体相对飞行的空白,该工作提出 Flying-on-a-Word 任务及 UAV-Flow 数据集,包含 30,692 条真实专家轨迹和 10,109 条仿真轨迹。团队开发 FlowVLA 模型,利用 Tail-Aware GRPO 方法进行在线后训练,在仿真基准上平均成功率达 93.16%,并在室内外实物场景中验证了物体相对指令的稳健执行能力。

    推荐理由:该工作提出语言引导无人机飞行新基准与框架,通过混合真实与仿真数据训练 VLA 模型,在仿真中成功率提升至 93.16% 并验证了实物执行能力。

  5. arXiv · 机器人与计算机视觉83

    SALA:语义对齐的潜在动作实现具身基础模型的双轴扩展

    针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。

    推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。

  6. arXiv · 机器人与计算机视觉78

    ACE-CaP-0:经验时代的现实世界代码策略

    ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。

    推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。

  7. arXiv · 机器人与计算机视觉78

    EgoX:基于身体 Dreaming 的以自我为中心跨具身操作学习

    论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。

    推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。

  8. arXiv · 机器人与计算机视觉85

    BlinkMimic:基于世界模型与 Muon 更新的快速人形运动跟踪训练方法

    针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。

    推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。

  9. arXiv · 机器人与计算机视觉82

    I See What You Want:从视觉遥操作历史解码层级化操作意图

    论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。

    推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。

  10. arXiv · 机器人与计算机视觉78

    记住改变几率的事件:用于长视界操作的评论门控事件记忆

    针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。

    推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。

  11. arXiv · 机器人与计算机视觉78

    ManiLadder:基于分类与多级难度的机器人操作基准测试

    ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。

    推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。

  12. arXiv · 机器人与计算机视觉78

    PERA:用于连续全身控制的插件式机器人动作专家

    论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。

    推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。

  13. arXiv · 机器人与计算机视觉78

    MOSAIC:面向杂乱场景的模块化障碍物与空间感知操作框架

    针对现有视觉语言动作模型在杂乱环境中依赖隐式推断几何关系导致碰撞的问题,本文提出 MOSAIC 框架,通过辅助语义定位任务预测目标、目的地及障碍物的角色掩码,并结合三维重建深度构建几何 token 注入动作专家。

    推荐理由:该框架通过引入几何与障碍物感知模块,在杂乱场景中将 VLA 模型的成功率提升 5.1%,相关代码与数据集将在接受后开源。

  14. arXiv · 机器人与计算机视觉82

    GraSLA:一种以抓取假设为几何先验的轻量级空间语言动作模型

    针对模仿学习下连续动作策略行为多样性不足的问题,该工作提出 GraSLA 模型,将 6-DoF 抓取检测提供的假设作为几何先验,结合空间与语言基础模型通过双向交叉注意力进行连续动作预测。在 LIBERO 基准测试中,该模型平均成功率达到 99.30%。

    推荐理由:该工作提出将抓取假设作为几何先验融入连续动作策略,在 LIBERO 基准上实现 99.30% 成功率。

  15. arXiv · 机器人与计算机视觉82

    TraceKV:一种用于推理视觉语言模型的策略保持低秩 KV Cache 压缩方法

    针对大上下文和长推理痕迹带来的 KV Cache 需求,现有低秩压缩方法易导致预测策略漂移。本文提出 TraceKV,通过统一在策校准、敏感性感知 SVD 及全局秩分配,显著降低推理过程中的策略 KL 发散。

    推荐理由:提出 TraceKV 框架,在无需微调下实现 KV Cache 压缩与策略保留,兼顾推理精度与显存效率。

  16. arXiv · 机器人与计算机视觉78

    阅读桌面:面向 Chef's Hat 卡牌游戏的仿真到现实游戏状态检测

    针对桌面卡牌游戏中物体识别成本高、标注难的问题,作者开发了一套全自动的合成数据采集管线。该方法利用已知三维坐标的重投影自动生成标签,并结合域随机化技术以弥合仿真与现实的差距。

    推荐理由:提出利用重投影与域随机化构建合成数据管线,在真实机器人上实现卡牌游戏状态检测的高精度感知。

  17. arXiv · 机器人与计算机视觉78

    低成本移动双臂长周期清洁任务中的 VLA 模型评估

    本文介绍了一个集成两个 LeRobot SO-101 机械臂、TurtleBot 4 底盘及 LeRobot-ROS 2 软件栈的低成本移动双臂平台,并以长周期的马桶清洁为案例研究。

    推荐理由:该研究在低成本移动双臂平台上评估了多种 VLA 模型,发现 $ ext{ extpi}_0$ 表现最佳,而增强变体未见提升。

  18. arXiv · 机器人与计算机视觉78

    BiPOP:面向长时程双臂操作的偏序规划框架

    针对双臂机器人操作中空间与时序耦合的协调难题,本文提出 BiPOP 框架,将大语言模型用于自然语言指令的形式化翻译,结合显式时空模型与时间偏序规划器生成逻辑一致且支持并行执行的计划。实验表明该方法在仿真长时程任务中优于开环及 ReAct 风格规划,并在真实双臂机器人 NICOL 上实现了端到端运行。

    推荐理由:提出 BiPOP 框架,结合大语言模型与时间偏序规划解决双臂长时程任务协调难题。