跳到正文

技术方向

机器人学习与VLA 最新动态

视觉语言动作模型、模仿学习、强化学习和操作策略,关注任务条件、数据与成功率。

840 条精选近 30 天 569 条共收录 3,491 条

更新

精选归档 · 第 12 页

11月5日周四第 221–240 条
  1. arXiv · 机器人与计算机视觉78

    Astra 能否在不耗尽预算的情况下解决 RoboMME?

    针对机器人操作需记忆被遮挡信息或动作序列的挑战,作者提出三层系统:GPT-6 Astra(System 2)从视觉历史中选择子任务,π0.5 策略执行,Qwen3-VL-4B 监控器检查完成状态。该系统在 RoboMME 基准上成功率达 79.13%,平均调用 3.63 次规划器且耗时 80.84 秒/集,比最佳非神谕基线高 34.62 分。论文已接受于 CoRL 2026 相关研讨会。

    推荐理由:提出三层架构系统,在 RoboMME 基准上以低成本调用规划器实现 79.13% 成功率。

  2. arXiv · 机器人与计算机视觉83

    SleuthVLM:我们真的需要视频中的音频吗?

    论文提出 SleuthVLM,这是一个基于视觉语言模型的智能体系统,无需直接处理音频即可回答视频相关问题。系统将语音转录为文本后,由 VLM 自主分析长达 90 分钟的视频内容。

    推荐理由:该研究提出无需直接处理音频的 SleuthVLM,在多项基准测试中超越主流闭源模型,证明智能体能力比多模态对齐更关键。

  3. arXiv · 机器人与计算机视觉78

    FedIA:面向联邦提示学习的实例感知跨模态表示方法

    论文提出 Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA) 框架,旨在解决现有联邦提示学习方法仅支持客户端级个性化而忽视样本间视觉差异的问题。

    推荐理由:提出 FedIA 框架,将联邦提示学习从客户端级个性化推进到实例级,通过自适应融合模块提升跨域与标签偏斜下的性能。

  4. arXiv · 机器人与计算机视觉78

    LumiTac:用于人机交互的紧凑型高刷新率六轴光学触觉传感

    该研究提出 LumiTac 传感器,这是一种无摄像头的紧凑光电子触觉设备,通过空间分布照明与光谱编码结合实现六维力矩测量。传感器直径 12 mm、厚度 4.75 mm、重量小于 2 g,成本约 7 美元。

    推荐理由:论文提出了一种紧凑的六轴光学触觉传感器,实现了高刷新率与低延迟,为机器人灵巧操作与人机交互提供了新的感知方案。

  5. arXiv · 机器人与计算机视觉78

    FWIK:基于前瞻图搜索的多路点逆运动学选择

    论文提出 FWIK 方法,通过考虑未来窗口内的多路点来选择冗余机械臂的逆运动学解,结合自碰撞模型与 MoveIt 2 规划器进行验证。在 Franka Emika Panda 和 KUKA LBR iiwa 两个 7-DoF 机械臂上,FWIK 在所有八种机器人 - 规划器设置中均实现了最短规划轨迹时长,且序列完成率介于 96.8% 至 100%。

    推荐理由:FWIK 方法在仿真中显著缩短规划时间并提升序列完成率,为冗余机械臂的在线逆运动学选择提供了新方案。

  6. arXiv · 机器人与计算机视觉78

    基于 JEPA 世界模型的长视界规划:学习到的时间到目标指标

    针对平层联合嵌入预测架构(JEPAs)在长视界规划中时序区分度不足的问题,本文提出一种轻量级时间到目标(Time-to-Goal, T2G)指标。该方法利用离线轨迹中的潜在三元组进行训练,通过边距排序损失显式学习时序顺序,无需奖励或策略标签即可替代欧氏距离作为规划成本。

    推荐理由:该工作提出轻量级时间到目标指标,解决平层世界模型在长时规划中时序区分度不足的问题。

  7. arXiv · 机器人与计算机视觉78

    RACE:一种无需回放的机器人策略检查点选择方法

    针对学习型机器人策略在训练阶段评估困难的问题,论文提出 RACE 指标,利用固定集的成功轨迹校准动作偏差并聚合累积评分,替代昂贵的实机测试。实验表明,该指标在仿真中优于基线且对验证集变化鲁棒,在真机上其检查点排名与部署成功率一致,能有效区分不同偏差对任务成功的影响。

    推荐理由:提出 RACE 指标,利用固定成功轨迹校准动作偏差以替代昂贵实机测试,仿真与真机实验均显示其排名与部署成功率高度一致。

  8. arXiv · 机器人与计算机视觉82

    Correct Robots Before They Make Mistakes: Proactive Human-in-the-Loop Intervention via Preference Learning

    该论文提出了 PHIL(Proactive Human-in-the-Loop)框架,旨在通过偏好学习实现主动策略修正与后训练。系统允许操作员在 XR 界面预览策略预测的未来运动并在接管前进行干预;被拒绝的策略预测会与同一状态下执行的修正动作片段配对,用于鼓励策略偏好这些修正。

    推荐理由:PHIL 框架通过 XR 界面预览策略预测并允许人工干预,利用偏好学习将修正动作反馈给策略,使扩散策略和 X-VLA 在四项真实任务上的成功率分别提升约 26% 和 19%,且减少了不必要的恢复行为。

  9. arXiv · 机器人与计算机视觉78

    ELA:一种通过潜在动作从视频演示进行端到端学习的框架

    ELA 是一种针对机器人模仿学习的新框架,旨在解决动作标注数据稀缺的问题。该方法联合训练潜在动作模型、潜在动作策略和动作解码器,能够从丰富的无动作标签视频演示中学习,并仅需少量带动作标签的机器人演示即可实现下游控制。实验表明,该框架在仿真和真实世界的操作任务中均优于现有的潜在动作基线方法,且通过轻量级 4M 参数动作解码器与现有模仿学习方法无缝集成,无需修改策略架构或训练目标。

    推荐理由:ELA 框架联合优化潜在动作表示与解码,仅需少量标有动作的演示即可利用海量视频数据提升策略性能。

  10. arXiv · 机器人与计算机视觉85

    Ctrl-F:一种用于人形机器人位姿与操作交互的力接口框架

    论文提出了 Ctrl-F 分层运动 - 力控制框架,旨在解决传统运动跟踪器仅知目标位置而不知如何与环境交互的问题。该框架包含统一运动 - 力控制器和高层在线力规划器,能在每个接触点(如手或脚)施加指定的三维力。

    推荐理由:提出 Ctrl-F 框架,通过显式力指令增强运动跟踪,在硬件上实现大负载拖拽、推举及踢击等盲法基线无法完成的任务。

  11. Hugging Face Daily Papers78

    从像素到动作:迈向原生视觉语言动作策略

    这篇论文介绍了 NEO-VLA 框架,主张视觉语言动作模型不应依赖固定的视觉编码器输出,而是让图像 token 在骨干网络中随语言共同演化。实验表明,这种架构在多种操作设置和分布偏移下比传统编码器方案更鲁棒,且关键动作信号往往在最终视觉表示之前达到峰值。材料为预印本版本,代码链接已提供。

    推荐理由:该预印本提出无编码器架构,证明直接访问视觉计算层级能提升操作鲁棒性。

11月4日周三
  1. 智东西 · 机器人78

    物理世界模型创企 LiberAI 正式发布 Liber-0 世界动作模型

    物理世界模型创企 LiberAI 于 11 月 4 日发布基于超 220 万小时人类经验数据预训练的世界动作模型 Liber-0。该模型采用混合 Transformer 架构,结合 LiberSense Glove 采集的人手动作数据与互联网视频,旨在减少对真机数据的依赖并提升跨本体泛化能力。

    推荐理由:LiberAI 发布基于超 220 万小时人类经验预训练的世界动作模型 Liber-0,在零样本真机测试中取得 36% 成功率并优于 GPT-6 Astra。

  2. arXiv · 机器人与计算机视觉78

    PyRUA-DataFarm:LLM Agent 作为高效遥操作代理以生成真实可用机器人数据

    PyRUA-DataFarm 利用 LLM Agent 接收任务请求与一次校准数据,在仿真中自动重建场景、专家控制器及成功判定器,并通过视频模型渲染多视角合成视频。

    推荐理由:提出用 LLM Agent 自动构建仿真环境与视频渲染,生成低成本且真实可用的机器人训练数据。

  3. arXiv · 机器人与计算机视觉84

    Möbius:一种统一运动 - 语言模型,桥接理解与生成

    arXiv 论文介绍 Möbius,旨在构建能同时理解、生成和编辑人类运动的统一框架。该模型将扩散过程引入多模态表示空间,使干净运动、噪声运动和文本共同参与共享注意力机制,且直接操作连续帧级原始运动数据,无需离散分词或预训练 VAE。在 HumanML3D 数据集上达到最先进水平,扩展至 17 亿参数和 1700 小时运动数据后证明有效且可扩展。

    推荐理由:该工作提出统一运动语言模型,将理解与生成融合于连续帧级表示,无需离散分词或预训练 VAE。

  4. arXiv · 机器人与计算机视觉82

    超越可见性:基于稀疏 LiDAR 的实时表面可达性场

    本文提出一种名为 Accessibility Field 的方法,利用流式稀疏 LiDAR 数据实时更新每一点的表面物理可达性标签。该方法通过 GPU 评估预计算的工具体积核与不同接近姿态下的碰撞情况,无需先验场景模型即可在工作站和 Jetson Orin 边缘设备上实时运行。

    推荐理由:提出基于稀疏 LiDAR 的实时表面可达性场方法,在合成基准上 F1 达 90.8%,能区分可见但不可触及的表面。

  5. arXiv · 机器人与计算机视觉78

    基于接触锚定重定向与残差策略学习的灵巧机器人操作研究

    arXiv 预印本论文提出一种从人类演示学习灵巧操作的框架,核心在于提取演示中的接触结构而非关节运动。该方法通过模拟 MANO 手模型恢复接触力,利用独立于手部形态的接触锚定重定向技术将数据迁移至不同机械手,并采用残差强化学习策略修复动力学可行性。

    推荐理由:该工作提出无需真实机器人训练数据的三阶段流程,利用接触结构锚定将人类演示迁移至不同形态的机械手并恢复物理一致性。

  6. arXiv · 机器人与计算机视觉80

    Closing the Lab-to-Store Gap: A Data-Efficient Post-Training and Experience-Driven Learning VLA Framework for Retail Humanoids

    论文提出 DEED(Data-Efficient Post-Training and Experience-Driven Learning)框架,旨在弥合基准性能与可靠现实操作之间的差距。

    推荐理由:提出 DEED 框架,通过数据高效微调与经验驱动学习在单 GPU 上实现 Unitree G1-Edu 机器人超市补货任务。

  7. arXiv · 机器人与计算机视觉81

    CLAP:基于语言动作锚定的直接 VLM 到 VLA 适配方法

    CLAP 提出一种无需修改骨干架构即可将预训练视觉语言模型转化为视觉语言动作模型的方法,通过在数值动作序列前添加自然语言描述来因果性地条件化精确动作预测。

    推荐理由:CLAP 通过因果语言动作预测解决输出分布不匹配问题,在少量训练下实现 VLM 到 VLA 的透明能力迁移。

  8. arXiv · 机器人与计算机视觉78

    jaxipm:首个支持 GPU 批处理的通用约束非线性优化求解器发布

    论文介绍了 jaxipm,这是基于 JAX 实现的 IPOPT 算法 GPU 批处理版本,旨在解决现代 GPU 硬件上运行非线性规划(NLP)时的 CPU-GPU 传输瓶颈。

    推荐理由:该工作提出首个 GPU 批处理非线性优化求解器,解决了传统 CPU 求解在机器人高频采样中的瓶颈问题。

  9. arXiv · 机器人与计算机视觉78

    PACE:基于动作分块的相位感知执行方法

    论文提出 PACE(Phase-Aware Chunk Execution),一种无需训练的机器人策略在线执行方法。该方法利用预测速度曲线中的低速谷值作为重规划边界,以平衡反馈频率与运动连续性。

    推荐理由:提出无需训练的 PACE 方法,利用预测速度曲线的低速谷值动态选择重规划边界,在 RoboTwin2.0 和 LIBERO 基准及真机实验中均优于固定或自适应策略。