跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 41 页

10月9日周五第 801–820 条
  1. 量子位86

    星动纪元自研世界动作模型VPP2登顶RoboDojo榜单并开源

    星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单综合平均成功率32.26%、得分39.26分两项指标均居第一,泛化与精细操作能力领先。该模型采用视频预测与动作学习分阶段训练策略,未依赖额外数据或外挂增强手段。代码已开源,项目主页提供复现入口。

    推荐理由:星动纪元自研的世界动作模型VPP2在RoboDojo仿真榜单登顶,并开源代码与项目主页。

  2. arXiv · 机器人与计算机视觉78

    Trust Region Q Adjoint Matching:一种稳定的离线强化学习微调算法

    针对预训练流策略在离线强化学习中因多步采样导致的优化不稳定及 critic 误差放大问题,论文提出 Trust Region Q Adjoint Matching (TRQAM) 算法。

    推荐理由:提出 TRQAM 算法,通过投影对偶下降自适应控制策略空间 KL 散度,解决预训练流策略离线强化学习的优化不稳定性问题。

  3. arXiv · 机器人与计算机视觉83

    LM-X:通过进度、事件和不确定性预测的可解释视觉 - 语言 - 动作建模

    论文介绍 LM-X,这是一个将可解释状态(任务进度、下一语义事件、局部指令可靠性)联合预训练到控制策略中的 VLA 基础模型。研究基于生物感觉运动组织原理,在超过 20,000 小时的异构真实机器人轨迹上进行预训练,包含逾 1,000 小时失败演示。

    推荐理由:该工作提出将任务进度、事件预测与不确定性估计联合预训练到 VLA 模型中,旨在解决黑盒控制问题并提升长程任务可靠性。

  4. arXiv · 机器人与计算机视觉78

    Seeker:基于动作监督的学习注意力区域以优化策略训练

    论文提出 Seeker 方法,解决现有 ROI 接口依赖外部标签或固定裁剪导致视觉证据错位的问题。该方法从冻结的 DINOv3 特征出发,通过迭代更新查询向量,仅凭动作监督生成任务与状态感知的感兴趣区域(ROIs)。

    推荐理由:提出 Seeker 方法,利用动作监督学习任务感知的注意力区域,在仿真与真实机器人上均提升了数据效率与鲁棒性。

  5. arXiv · 机器人与计算机视觉78

    ActionCodec:面向 VLA 优化的动作分词器设计原则与新模型发布

    论文针对现有动作分词器仅关注重建保真度而忽视 VLA 优化的问题,提出最大化时间重叠、最小化词汇冗余等四大设计原则,并据此推出 ActionCodec。在 LIBERO 基准上,基于 SmolVLM2-2.2B 微调的模型在无机器人预训练下达到 95.5% 成功率,架构增强后提升至 97.4%,刷新无预训练 VLA 模型 SOTA。

    推荐理由:提出从 VLA 优化视角的 ActionCodec,在 LIBERO 基准上实现无预训练新 SOTA。

  6. arXiv · 机器人与计算机视觉78

    Memento 3:基于反思规则书的模型驱动递归自我改进

    论文介绍 Memento 3,使冻结的大语言智能体能通过外部自然语言规则书持续学习显式世界模型并编译为可执行代码。系统通过观察、反思、修订规则、编译和验证的循环,利用预测误差在保持底层大模型固定的前提下实现递归自我改进。

    推荐理由:该工作提出通过外部记忆和规则书实现冻结大模型的递归自我改进,在 ARC-AGI-3 上达到人类效率基准。

  7. arXiv · 机器人与计算机视觉83

    Self-Supervised Keyframe Discovery for Horizon-Invariant Behavior Cloning

    针对非马尔可夫环境中策略需处理长视界上下文信息的难题,本文提出 Keyframe Mnemonics 自监督方法,通过随机采样过去观测学习目标以发现关键信息观测(mnemonics)作为奖励进行关键帧选择。

    推荐理由:提出自监督关键帧发现方法,解决非马尔可夫环境下的行为克隆长视界依赖问题。

  8. arXiv · 机器人与计算机视觉87

    VioLA:从人类数据中学习通用类人机器人控制策略

    论文介绍 VioLA,一种通用类人机器人策略,通过预测身体和手部运动潜变量而非关节命令来规避动作空间耦合问题。该方法利用预训练控制器执行潜变量,并将人类与机器人运动映射至同一潜在空间,从而直接使用 1.406 亿帧(其中 93.2% 为人类演示)的数据进行训练。

    推荐理由:该工作提出 VioLA,通过预测身体与手部运动潜变量而非关节命令,利用海量人类演示数据实现真实机器人零样本执行,显著优于现有基线。

  9. arXiv · 机器人与计算机视觉88

    ARC:一种用于机器人基础模型的推理配方

    该论文提出ARC(A Reasoning Recipe)方法,旨在不依赖大规模新数据采集或昂贵训练的情况下,显著提升现有机器人基础模型(RFM)的零样本任务性能。

    推荐理由:提出ARC推理配方,无需新增机器人数据即可通过自动标注与微调提升现有VLA基座模型的零样本任务成功率。

  10. arXiv · 机器人与计算机视觉76

    UNITAS:首个原生 3D 的具身操作世界动作模型

    UNITAS 是首个将观测、动作和场景动力学统一在共享度量 3D 框架内的世界动作模型,使用 3D 点轨迹表示手部和夹爪动作,并以物理时间锚定 token。

    推荐理由:UNITAS 提出首个原生 3D 的世界动作模型,统一观测、动作与场景动力学,在 RoboTwin 仿真与真实任务中均取得最优表现。

  11. arXiv · 机器人与计算机视觉78

    TACROSS:一种跨异构触觉传感器的低成本可扩展人手触摸系统

    针对机器人触觉示教成本高、慢的问题,本文提出 TACROSS 系统,利用成本约 10.86 美元的压阻式手套采集人类触觉演示,并通过接触事件对齐而非原始传感器值对齐来解决与机器人传感器原理和布局的差异。系统在四个富接触操作任务上评估显示,相比传统遥操作效率提升 3.5 倍,示教设备成本降低 95.7%。作者将开源硬件软件系统及包含超 150 小时录制的触觉数据集。

    推荐理由:提出 TACROSS 系统,通过接触事件对齐解决异质触觉传感器差异,实现低成本高效的人触示教转移。

  12. arXiv · 机器人与计算机视觉83

    OmniHOI:基于单目视频的灵巧手物交互研究

    论文介绍 OmniHOI 流程,旨在从单目 RGB 视频中重建手物交互的忠实轨迹并迁移至灵巧机械手。该方法在各阶段利用图像证据、接触几何和动力学约束物理一致性,直接优化对应表示以修正误差。

    推荐理由:该工作提出 OmniHOI 流程,利用单目视频重建手物交互轨迹并转移至多自由度机械手,在仿真与真实机器人上均优于现有方法。

  13. arXiv · 机器人与计算机视觉83

    Cross-Embodiment Robot Foundation World Models with Latent Actions 论文发布

    该研究针对机器人本体多样性导致的世界模型难以跨形态泛化的问题,提出了基于潜在动作条件的机器人世界模型(LAC-WM)。该方法在统一的潜在动作空间内运行,相比显式动作条件模型(EAC-WM),能显著提升下游灵巧操作任务及 LIBERO 基准的性能。

    推荐理由:提出基于潜在动作空间的机器人世界模型,在跨形态泛化与下游任务性能上优于显式动作条件模型。

  14. arXiv · 机器人与计算机视觉87

    NavGPT-3:利用上下文构建分层导航运行时

    论文介绍 NavGPT-3,这是一个连接高层语言模型推理与底层物理控制策略的运行时系统。其核心包含基于长视界强化学习的语言模型(NavGPT VLA)和 OS 类调度器,支持线程化运行、工具调用及中断切换以应对突发环境变化。

    推荐理由:该工作提出 NavGPT-3 运行时架构,通过分层调度连接语言推理与低延迟动作策略,首次实现自主体在导航任务中达到人类水平表现。

  15. arXiv · 机器人与计算机视觉82

    Masked Generative Motion Planning with Geometry-Guided Token Search

    论文介绍 Masked Generative Motion Planning (MGMP),该方法利用几何引导的令牌搜索将轨迹生成从局部连续优化扩展至离散结构修复,在 Kuka 和 Ring Maze 任务上分别实现 82% 和 96% 的成功率。

    推荐理由:提出 MGMP 方法,将生成式规划扩展至结构修复,在 Kuka 和 Ring Maze 任务上显著超越最强基线。

  16. arXiv · 机器人与计算机视觉85

    TacHair:一种用于机器人头发梳理的触觉接触分布引导在线修正方法

    针对变形物体(如头发)在末端执行器上漂移导致局部交互困难的挑战,该研究提出了 TacHair 框架,将高分辨率触觉观测表示为空间头发接触分布。该方法结合视觉 - 触觉模仿策略生成名义动作,并通过独立训练的残差模块进行局部接触偏差修正,实现了任务推进与接触恢复的分离。

    推荐理由:该工作提出基于触觉接触分布的在线修正框架,在真实机器人实验中显著提升了头发梳理任务的成功率与接触保持能力。

  17. Hugging Face Daily Papers79

    DreamTrue:具备反事实后训练的忠实动作机器人世界模型

    论文提出了 DreamTrue,这是一个支持跨具身、多视角的机器人世界模型,旨在实现高保真的视频预测与物理合理性。针对现有数据集校准不精确及失败交互覆盖不足的问题,该方法将动作轨迹渲染为图像空间条件并进行离线几何校准,同时引入反事实后训练以扩展交互范围。

    推荐理由:该工作提出通过几何校准与反事实后训练提升多视角机器人世界模型的行动保真度,在 AgiBot 挑战赛中表现领先。

  18. 量子位80

    MirroS发布AgentGarten:代码造世界,扩散绘现实

    MirroS团队发布AgentGarten,将可执行的代码环境与实时神经渲染器连接,实现超过30 fps的吞吐。系统通过代码裁决物理规则以避免幻觉,利用神经模型生成逼真视觉反馈,支持智能体在捉迷藏、陪伴小狗等场景中通过自我博弈与复盘手册快速掌握策略。项目提供技术报告、博客及GitHub仓库链接。

    推荐理由:MirroS发布AgentGarten,通过代码定义物理规则与神经渲染器实时生成视觉的闭环架构,支持智能体在可执行环境中边玩边进化。

  19. Hugging Face Daily Papers76

    RSI-Anything:基于世界模型的递归自我改进通用框架

    论文介绍了 RSI-Anything,这是一个构建于 JEPA-Anything 之上的通用框架,利用预测世界模型指导行动与学习数据选择。在代码修复任务中,固定编码器的情况下,通过预测选择和世界模型适配将成功率从静态验证器的 26.3% 提升至 31.2%;GUI 评估显示任务完成率更高且平均动作减少 39.4%;实验室规划分数在五轮策略迭代后翻倍。

    推荐理由:该框架利用预测世界模型指导行动与数据选择,在代码修复、GUI 操作及实验室规划等跨领域任务中显著提升了成功率并减少了平均动作数。

10月8日周四
  1. Hugging Face Daily Papers80

    UniSkill:学习用于演化策略的对齐技能提案

    论文介绍 UniSkill 方法,通过共享策略与环境交互以提出技能库编辑(添加、更新或不编辑),利用对比动作反馈测量替换检索技能后的行动对数似然差距来对齐策略,从而避免为每个提案进行昂贵的额外采样。

    推荐理由:UniSkill 提出利用共享策略与对比反馈对齐技能提案,避免为每个提案进行额外采样,在 ALFWorld 和 WebShop 任务中保持高成功率。