跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 29 页

10月22日周四第 561–580 条
  1. arXiv · 机器人与计算机视觉78

    Real2Sem2Real:基于单一人类 RGB 演示的 3D 语义增强与机器人学习

    论文提出了 Real2Sem2Real (R2Sem2R) 方法,旨在解决现有方法依赖深度传感或仅针对演示对象生成数据的局限。该方法利用 DINOv3-distilled Gaussian splats 跟踪 SE(3) 姿态,结合语义对齐将数字孪生体与演示物体匹配,并将人类手部动作映射为可行的机器人抓取策略。

    推荐理由:该方法利用单个人类 RGB 演示生成跨语义实例的机器人数据,在真实机器人上验证了策略泛化能力。

  2. arXiv · 机器人与计算机视觉78

    超越正确答案:组合线索如何塑造视觉判断

    针对视觉问答中的视觉绑定问题,本文通过固定图像与陈述的对照实验,分析了对象角色、关系等字段标签在不同模型上的差异化效果。研究发现,添加对象角色标签对 Qwen3 有利但对 Qwen2 有害,且保留提示词的优势主要源于避免错误互换;更清晰的提示词虽提升文本匹配但未必改善视觉判断,而直接选择图像中的关系则能部分降低特定提示下的误差。

    推荐理由:该研究通过控制变量实验揭示了结构化提示中不同标签对视觉绑定任务的具体影响,为优化多模态模型指令提供了实证依据。

  3. 盖世汽车 · 汽车资讯78

    均胜电子:具身固液混合电池已近量产

    均胜电子旗下均恩新能源研发的固液混合电池已达到量产标准,正依托全球渠道加速出海。该产品走硫化物固态电解质路线,能量密度最高达380Wh/kg,循环寿命超2000次,并搭载车规级BMS与热失控预警系统。产品覆盖人形机器人、轮式机器人等各类具身智能设备,均胜电子在机器人赛道已形成从控制器到能源方案的完整矩阵。

    推荐理由:均胜电子旗下均恩新能源宣布其首款固液混合电池达到量产标准,能量密度最高380Wh/kg并具备车规级BMS与热失控预警能力。

  4. Hugging Face Daily Papers82

    AW-0:一种结合代码规划与世界动作预测的代理机器人框架

    论文介绍 AW-0 框架,通过统一架构联合建模代码、未来视频和机器人动作,利用代码专家生成可复用的技能程序以连接规划与执行。作者还提出了自动化策展流程来构建技能库。在 RoboTwin 2.0 及物理双手操作任务上的评估显示,该方法在任务性能、语言遵循、语义推理及鲁棒性方面均优于 VLA 和 WAM 基线。材料为预印本论文,未提及同行评审状态或具体开源代码仓库。

    推荐理由:该工作提出结合代码规划与视频预测的代理世界动作模型,在仿真及物理任务上优于基线。

  5. Hugging Face Daily Papers78

    R^2Orch:基于技能内化循环中自博弈的智能体编排递归自改进

    针对智能体编排学习中依赖人工设计课程、优势坍塌及评估信号噪声等挑战,论文提出 R^2Orch 新范式。该方法包含两个循环:内环通过自博弈在自选任务上优化编排器,外环优化内环的改进方式。研究引入递归可学性目标以奖励能产生多样化结果的任务选择,并提出技能撤出机制,当自博弈评估显示无需某项技能时将其移除。实验表明该范式在问答、数学、代码及交互任务上均优于基线。

    推荐理由:提出 R^2Orch 范式,通过技能内化循环与递归自博弈解决编排学习中的课程设计与评估信号噪声问题。

10月21日周三
  1. 智东西 · 机器人84

    英伟达开源Flora数据引擎,低成本转化海量机器人视频为训练信号

    英伟达发布并开源了面向机器人数据集的数据引擎Flora,该系统由动作描述、时间分段和奖励三个模型组成,可将原始机器人视频转化为带时间戳的动作描述及过程/结果奖励。Flora基于Qwen3.5微调,在WGO-Bench等基准测试中表现优异,标注成本约为GPT-6 Astra的1/125(每小时0.72美元对比88.49美元),目前已用于训练GR00T系列模型。

    推荐理由:英伟达开源Flora数据引擎,将机器人视频转化为高质量训练信号,成本仅为GPT-6 Astra的1/125。

  2. 智东西 · 机器人78

    英伟达开源手术世界模型Cosmos3-H-Dreams,单卡可跑

    英伟达发布并开源了实时生成式手术世界模型Cosmos3-H-Dreams,该模型基于160亿参数基础模型开发,利用约526分钟真实腹腔镜胆囊切除术视频训练。通过教师 - 学生蒸馏和FlashDreams流式推理框架,模型仅需单张NVIDIA RTX PRO 6000 GPU即可实现实时交互,支持根据器械操作指令生成对应的手术画面及组织形变模拟。

    推荐理由:英伟达开源了支持单卡实时推理的手术世界模型,将生成式仿真扩展至腹腔镜胆囊切除术场景。

  3. NVIDIA Blog · Physical AI63

    德国政府与 NVIDIA 签署联合意向书推进工业 AI 及四项新投资

    德国总理默茨与英伟达 CEO 黄仁勋在柏林 Kraftwerk 签署联合意向书,双方将合作开发物理 AI 前沿模型并建立欧洲领先的工业 AI 生态系统。NVIDIA 宣布对 Agile Robots、Avelios Medical、Mirelo 和 Reflex Aerospace 四家德国初创企业进行新投资,此前已承诺近 100 亿欧元支持欧洲生态。

    推荐理由:NVIDIA 宣布在德国启动多项新投资并签署联合意向书,旨在推动工业 AI 与制造业深度融合。

  4. NVIDIA Blog · Physical AI75

    NVIDIA 发布 Nemotron 3.5 及 Kumo Cosmos 等开源模型系列

    NVIDIA 推出 Nemotron 3.5 Super VL 和 Bolt 语言多模态模型、Kumo 结构化数据模型、Cosmos 世界模型、Alpamayo 2 Edge 自动驾驶推理模型、BioNeMo 蛋白质设计模型及 Ising 量子计算模型。材料提供了各模型的开源仓库链接与部署入口,并列举了合作伙伴在特定行业的应用案例。

    推荐理由:NVIDIA 发布 Nemotron 3.5、Kumo、Cosmos 等开源模型系列,提供欧洲主权 AI 基础与后训练工具链。

  5. arXiv · 机器人与计算机视觉78

    DriveVLA-M0:面向自动驾驶的失败感知记忆增强方法

    论文提出 DriveVLA-M0,一种带失败感知隐式记忆的检索增强视觉语言动作模型。该方法构建存储失败案例及场景结构表示的记忆池,设计专用检索模型解耦静态道路结构与动态交互以支持结构化检索。

    推荐理由:提出带失败感知隐式记忆的检索增强 VLA,在 NAVSIMv1/v2 基准上提升性能且仅增加 26.44ms 推理开销。

  6. arXiv · 机器人与计算机视觉82

    Flow Control:通过简单实时输入引导视觉语言动作模型

    论文介绍了一种名为 Flow Control 的方法,用于实时引导视觉语言动作(VLA)模型的动作输出。该方法将用户输入的键盘指令写入 VLA 流匹配动作专家的初始条件,无需重新训练或微调即可实现高保真且符合原分布的引导。

    推荐理由:提出无需微调的流控制方法,利用通用输入实时引导 VLA 动作,提升任务成功率与完成速度。

  7. arXiv · 机器人与计算机视觉82

    Kamino:一种支持运动学闭环的高性能 GPU 物理仿真求解器

    论文介绍了 Kamino,这是一个基于 NVIDIA Warp 和 Newton 框架实现的 GPU 物理求解器,旨在解决复杂机械系统中强耦合的运动学与动力学约束问题。

    推荐理由:该工作提出基于 GPU 的刚性多体物理求解器 Kamino,原生支持运动学闭环与异构机器人批量仿真,为强化学习策略训练提供了高保真环境。

  8. arXiv · 机器人与计算机视觉78

    GALA:一种用于可控物体布置的几何感知语言模型

    针对现有方法依赖简化表示而忽视细节几何的问题,该工作提出 GALA 模型,通过显式点云感知实现细粒度支撑与包含约束推理。模型采用两阶段训练策略对齐几何与文本模态,并在多源场景数据集上显著优于基线。此外,团队开发了基于模型的文本驱动场景生成智能体管线,相关数据集与代码将开源。

    推荐理由:该工作提出融合点云感知的几何语言模型,解决细粒度放置约束推理难题,并开源多场景数据集与计划 - 放置 - 验证智能体管线。

  9. arXiv · 机器人与计算机视觉82

    通过混合灵巧模仿学习可适应的灵巧技能

    针对现有强化学习与运动追踪方法在泛化性与自然性上的权衡问题,论文提出 AdaDex 框架。该框架核心为 Hybrid Dexterous Mimicking,通过在密集运动追踪环境与稀疏奖励泛化环境并行训练共享策略,将数秒的人类动作转化为具备功能抓取、物体重定向及投掷等能力的灵巧技能。实验表明该方法在仿真与真实世界中均优于基线,并实现了跨模拟器迁移。

    推荐理由:提出 AdaDex 框架,利用混合模仿策略将少量人类动作转化为可泛化的灵巧技能,并在仿真与真实世界验证了跨平台迁移能力。

  10. arXiv · 机器人与计算机视觉84

    UniWALM:面向具身机器人控制的统一世界动作语言模型

    论文介绍 UniWALM,一种将视频、动作与语言统一在单一混合 Transformer 骨干中的世界 - 动作 - 语言模型。该架构通过同步去噪解码子任务与文本记忆,无需外部规划器或记忆库即可实现语言作为记忆的闭环。

    推荐理由:UniWALM 在统一架构下实现语言记忆闭环,无需预训练语言或推理模型即可提升操作成功率。

  11. arXiv · 机器人与计算机视觉85

    AgenticRoboRL:将代码智能体后训练引入具身机器人规划

    AgenticRoboRL 是一个针对机器人规划器的后训练框架,结合监督微调与多轮强化学习,通过适配不同执行机制(如 VLA 技能调用与控制代码生成)提升规划能力。在 LIBERO-PRO 基准上,该方法使 9B 参数规划器在无外部记忆条件下的成功率从 18.1% 提升至 71.0%,接近带外部记忆的 Codex (GPT-5.5) 的 72.1% 水平。作者将开源该框架及训练好的规划器检查点。

    推荐理由:该框架通过微调与强化学习结合,在不依赖外部记忆的情况下将 9B 参数规划器成功率从 18.1% 提升至 71.0%,接近带外部记忆的基线水平。

  12. arXiv · 机器人与计算机视觉82

    VLM-Guided Contact Retargeting and Generative Partner Modeling for Humanoid-Human Interaction

    论文提出 REACT 框架,旨在从人机演示中学习可部署的人形机器人交互策略。该方法利用视觉语言模型(VLM)进行语义接触建模与重定向,将人类伙伴的遮挡状态转化为生成式预测目标以弥补感知缺失。研究在仿真及宇树 G1 真机平台上验证了该框架在五种高接触密度交互任务中的有效性,证明其能仅凭机载传感器完成操作。

    推荐理由:提出 REACT 框架,利用 VLM 进行接触重定向与生成式伙伴建模,解决人形机器人与人类交互中的严重遮挡问题。

  13. arXiv · 机器人与计算机视觉78

    SuperMimic:利用单一可微世界模型扩展人形机器人全身控制

    论文提出 SuperMimic 方法,通过拟合标准刚体仿真器的日志过渡数据构建单一可微世界模型,与跟踪策略在单循环中联合训练并利用时间反传播获取解析梯度。该方法在单 GPU 上 3 小时即超越基线(128 GPU 训练 7 天),将 GPU 工时降低超 1000 倍,并在 129,514 个基准动作中仅失败 25 次;经过 9.8 小时双 GPU 训练后实现零失败。

    推荐理由:该工作提出用可微世界模型统一处理全身运动跟踪,将训练时间从 7 天降至 3 小时且失败率大幅降低。

  14. arXiv · 机器人与计算机视觉85

    CLOSER:一种用于具身对象 - 目标导航的证据感知主动视觉验证方法

    针对对象 - 目标导航任务中检测器易误判及候选体被遮挡的问题,该研究提出 CLOSER 框架。该方法微调开源 VLM 对多视角候选体进行目标、非目标或不确定标注,利用嵌入多样性门控选择互补视角并融合概率;若仍不确定则驱动智能体仅凭掩码和深度信息接近候选体直至决策明确。

    推荐理由:该工作提出证据感知的主动验证框架,通过微调开源 VLM 与扩散策略结合,在不重新训练现有导航系统的前提下提升目标导航成功率。

  15. arXiv · 机器人与计算机视觉78

    TaskWAM:通过任务状态引导世界动作模型避免阶段混淆

    论文针对世界动作模型在长程操作中易出现‘阶段混淆’的问题,提出了 TaskWAM 框架。该框架利用 Mode Tokens 表征细粒度任务需求,结合 State Tokens 追踪执行进度,形成结构化任务状态以引导生成预期的未来轨迹。研究构建了 StageBench 基准并在仿真与真实世界中验证了该方法能有效减少混淆且具备跨异构机器人架构的即插即用能力。

    推荐理由:提出 TaskWAM 框架解决长程操作中的阶段混淆问题,并通过 StageBench 基准验证了其在异构机器人架构上的通用性。