跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 33 页

10月20日周二第 641–660 条
  1. arXiv · 机器人与计算机视觉83

    DUET:面向任务无关的人形机器人上下肢执行解耦框架

    该论文介绍 DUET 框架,通过仅在机器人接口处结合指令,使下肢运动控制器(基于强化学习)与上肢操作控制器独立运行。实验在宇树 G1 硬件上验证了该方法,展示了与 GR00T N1.7 和 pi0.5 两个不同模型配对的兼容性。

    推荐理由:该研究提出 DUET 框架,实现下肢运动与上肢操作的解耦控制,支持在不重新训练平衡策略的情况下更换视觉语言动作模型。

  2. Hugging Face Daily Papers78

    TokenWorth:资源约束下的记忆价值学习方法

    针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。

    推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。

  3. NVIDIA Isaac Lab · Releases82

    Isaac Lab 3.0 正式发布:支持多后端架构与零拷贝数据访问

    NVIDIA Isaac Lab 3.0 正式向公众发布,确立了下一代机器人学习的基准。该版本引入工厂式多后端架构,允许任务在 Newton、PhysX 等物理引擎及不同渲染器间切换而无需重写逻辑;提供 Warp 原生数据路径实现零拷贝访问;并支持 Kit-less 执行模式以简化部署流程。

    推荐理由:NVIDIA Isaac Lab 3.0 正式发布,提供跨物理引擎与渲染器的统一任务接口及零拷贝数据路径。

  4. 智东西 · 机器人82

    NEXUS:面向人形机器人的跨地形感知运控基座模型发布

    中国电信人工智能研究院与伽马智能联合推出NEXUS,这是一个面向人形机器人的跨地形感知运控基座模型。该模型将广泛的全身行为覆盖与环境感知相结合,让机器人在保留动作特征与意图的同时,根据所处地形自主调整身体姿态与接触。

    推荐理由:中国电信与伽马智能联合提出NEXUS基座,通过仿真生成跨地形配对数据并采用两阶段训练,实现人形机器人在保留动作意图下自主适应复杂地形。

10月19日周一
  1. arXiv · 机器人与计算机视觉76

    前沿视觉语言模型能否作为记忆依赖型操作的机器人策略?

    该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。

    推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。

  2. arXiv · 机器人与计算机视觉82

    Analytic Robot Self-Model:一种无需变形网络或 CAD 模板的解析式机器人自建模方法

    论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。

    推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。

  3. arXiv · 机器人与计算机视觉78

    GroundingPI:面向物理智能的基于视觉原语的接地基础模型

    GroundingPI 是一个 4B 参数的接地基础模型,通过生成共享词汇表中的量化坐标(点和框)来精确指定目标物体及其位置。该模型结合多模态与空间预训练、监督微调及 GRPO 强化学习,在涵盖 11 种感知能力的 34 个基准上平均达到 73.68% 的准确率,超越 GPT-6 Astra(71.54%)。

    推荐理由:该论文提出 GroundingPI 模型,在多项感知基准上超越 GPT-6 Astra,并证明专用感知预训练对机器人操作和自动驾驶的有效性。

  4. arXiv · 机器人与计算机视觉82

    Monkey See, Can Monkey Do?:一项用于通过观察学习机器人技能的评测基准

    针对从人类视频中学习操作技能难以横向比较的问题,作者提出 RoboReel 统一评测基准。该基准包含捆绑的真实世界人类演示视频、仿真机器人轨迹及十个操作任务的评估环境。

    推荐理由:提出 RoboReel 统一基准,涵盖真实演示视频、仿真轨迹与十项操作任务,评估视觉语言动作模型在抗干扰及长程任务上的表现。

  5. arXiv · 机器人与计算机视觉78

    ADEPT:利用预训练和后训练的强化学习加速灵巧性

    论文介绍 ADEPT 框架,旨在通过大规模强化学习在多自由度机器人本体上实现从原始视觉 - 触觉感知直接求解长视界任务的 sim-to-real 灵巧性迁移。该方法先在通用物体放置任务上预训练灵巧策略,再以后训练下游策略,解决了多指机器人难以从零发现新行为的问题。

    推荐理由:论文提出 ADEPT 框架,通过预训练与后训练结合强化学习解决多指机器人灵巧操作难题,并开放了相关代码。

  6. arXiv · 机器人与计算机视觉82

    MANGO-Grasp:面向跨具身灵巧抓取的马氏场几何高斯方法

    针对跨具身灵巧抓取任务,该方法将物体表示为几何导向的 3D 高斯原语以保留局部表面几何特征,并将手部编码为预训练描述符以同时捕捉形态学与运动学信息。通过各向异性马氏场建模手物交互,引导共享优化实现跨具身的抓取。

    推荐理由:提出各向异性交互框架,在仿真与真实实验中均优于现有基线,支持跨具身零样本迁移。

  7. arXiv · 机器人与计算机视觉82

    解析视觉语言动作模型在接触丰富任务中的失效原因与修复方法

    针对视觉语言动作模型(VLA)在处理需要精确物理交互的接触丰富任务时表现不佳的问题,该研究识别了精度失效和力失效两种主要模式,并提出 FACT 方法进行改进。FACT 通过在后期训练增加低噪声采样以优化精细动作预测,并引入结构化力条件引导动作生成。在涵盖近 2,500 次真实世界部署的评估中,该方法在五类接触丰富任务上的平均成功率达到 66%,优于最佳基线方法的 41%。

    推荐理由:该工作通过 FACT 方法在接触丰富任务中将成功率提升至 66%,为理解 VLA 失效模式及改进提供了新视角。

  8. arXiv · 机器人与计算机视觉82

    FELT:从视觉生成触觉信号以支持视觉 - 触觉操作

    FELT 是一个利用现有成对视觉 - 触觉数据学习接触感知表征的框架,通过冻结视觉编码器和独立的查询解码器为下游策略提供生成的触觉图像或接触感知特征。在四项富接触的真实机器人任务实验中,直接融入学习到的接触感知特征使成功率提升 15-22.5 个百分点,证明了该方法无需真实触觉硬件即可提升操作性能。

    推荐理由:该框架利用视觉数据生成触觉表征,在四项真实机器人任务中使成功率提升 15-22.5 个百分点。

  9. arXiv · 机器人与计算机视觉78

    SidewalkBench:面向城市人行道的视觉导航基准评测

    针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。

    推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。

  10. arXiv · 机器人与计算机视觉82

    Perceptive Behavior Foundation Model:一种将人类运动先验适配至机器人中心地形的感知行为基础模型

    该论文介绍 Perceptive BFM 框架,旨在解决现有运动中心基础策略假设参考动作已物理兼容环境的局限。方法包括开发地形一致参考合成(TCRS)技术,通过足点构建、摆动优化等将人类运动片段转化为符合地形参考;训练盲适应参考教师网络并通过目标帧动作对齐迁移至部署端学生模型;学生模型为身份门控 Transformer 追踪器,利用残差路径保留先验并仅在必要时进行局部修正。

    推荐理由:该预印本提出将人类运动先验适配至机器人地形感知的框架,通过合成地形一致参考与盲适应教师网络实现策略迁移。

  11. arXiv · 机器人与计算机视觉78

    NVRD:一种用于评估 VLM 与人类对新视觉概念映射能力的基准数据集

    论文提出 Novel Visual References Dataset (NVRD),包含 19,176 张图像,涵盖 90 个不同新颖度级别的视觉概念及扰动版本。研究对比了 3 款开源、2 款闭源模型与 2,400 名人类判断者,发现模型在违背预训练知识时难以通过上下文学习新概念,且存在显著过泛化现象,会将标签扩展至人类拒绝的样本。该数据集作为基准供人机视觉概念学习研究使用。

    推荐理由:作者发布全新数据集 NVRD,用于评估模型在违背预训练知识时的新概念学习及泛化能力。

  12. arXiv · 机器人与计算机视觉82

    OrbiSim:面向具身智能的可微物理引擎世界模型

    论文 OrbiSim 提出一种新型机器人仿真范式,将世界模型定义为完全可微的物理引擎,以连接结构化场景资产、神经动力学与下游强化学习。该方法支持从显式状态转换到视觉观测生成的端到端可微性,从而解决传统模拟器难以处理的接触建模、稀疏奖励下的梯度策略优化及直观物理推理等任务。

    推荐理由:该工作提出将世界模型作为可微物理引擎,支持端到端梯度优化与接触建模,为机器人策略训练提供新路径。

  13. arXiv · 机器人与计算机视觉82

    面向机器人技能学习与适应的高斯过程方法

    针对现有强化学习方法难以应对大环境变化导致表达力不足的问题,本文提出一种利用稀疏中间点(via-points)和轨迹导数保持运动学特征的新型高斯过程技能自适应框架。该方法包含优化、行为克隆和强化学习三种适应策略,在抽屉开启、推立方体和杆件操作三个任务中,仿真与硬件实验均优于所有基准,且能保持高运动学相似度和低速度误差。

    推荐理由:提出基于高斯过程的技能自适应框架,在仿真与硬件上优于基准。

  14. arXiv · 机器人与计算机视觉78

    TransNav:面向静态与动态四旋翼避障的基于 Transformer 的端到端导航方法

    针对复杂环境中四旋翼同时应对密集静态障碍物和移动障碍物的挑战,本文提出 TransNav 方法。该方法采用基于 patch 的点云编码方案融合局部特征与全局上下文,将感知与导航集成于单一架构并直接预测有限时域的动作序列。

    推荐理由:提出基于 Transformer 的端到端导航方法,结合点云编码与无监督学习策略,在静态及动态环境中实现四旋翼避障。

  15. arXiv · 机器人与计算机视觉78

    超越动作预测:学习潜在空间中的无搜索规划

    论文提出 Hindsight Inverse JEPA Planning (HIJP) 框架,旨在解决基于世界模型的视觉规划需进行昂贵在线搜索的问题。该方法通过引入目标条件逆模型直接预测动作,并在训练阶段利用回顾性重标记策略塑造视觉表征与动作转换的一致性。

    推荐理由:提出 HIJP 框架,通过隐式逆动力学替代在线搜索实现无搜索规划,在四项视觉控制任务中成功率达 86.8% 且速度提升显著。

  16. arXiv · 机器人与计算机视觉78

    并非所有提及都是主张:重新思考视觉语言模型的物体幻觉检测

    该研究指出视觉语言模型评估中常将‘提及’等同于‘声称存在’,导致对非断言性描述(如‘供人坐的长椅’)产生误判。作者提出 NAME-Bench 基准,包含五款 VLM 生成的两万五千余条标注数据,区分了具体、幻觉与非断言提及四类标签。实验显示现有检测器将 14% 至 80% 的非断言提及错误标记为幻觉,且在较新模型上通过负样本训练进行修正的难度显著增加。

    推荐理由:NAME-Bench 基准揭示当前幻觉检测器将非断言性提及误判为幻觉,且在新模型上修正代价高昂。