跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 21 页

10月28日周三第 401–420 条
  1. 量子位78

    智元发布Genie Master框架,在便利店实测中实现机器人自主进化

    智元发布具身Agent框架Genie Master,将Physical RSI(具身递归自进化)应用于真实便利店业务流。该框架通过EEP协议连接推理与执行,利用Harness RSI积累提示词经验、Policy RSI更新动作策略模型,使机器人在无人在环状态下自主分析失败原因、调整策略并沉淀长尾场景经验。智元计划于11月2日开展6台精灵G2机器人连续上岗的24小时直播考核。

    推荐理由:智元发布Genie Master框架,在真实便利店场景验证Physical RSI机制,支持机器人自主诊断问题、调整策略并积累长尾经验。

  2. 量子位77

    RoboParty发布全栈开源人形机器人RP1,开放从机械图纸到运动算法的底层研发链路

    RoboParty正式发布全栈开源人形机器人RP1,提供从机械结构、电气系统到底层控制与仿真训练工具的全套资源。RP1拥有24至30个自由度,搭载自研ROMOMO关节模组,公开URDF及网格模型等资源,并开放hhtools动作重定向等开发底座,旨在降低硬件适配门槛,支持开发者深入研究与修改底层技术。

    推荐理由:RoboParty发布全栈开源人形机器人RP1,开放从机械图纸到运动算法的底层研发链路。

  3. arXiv · 机器人与计算机视觉85

    FTP-1:一种面向多种触觉传感器的通用触觉基础策略

    FTP-1 是首个通用的触觉基础策略,旨在解决现有触觉策略依赖固定本体和传感器的问题。该模型通过异构编码器将图像、阵列及状态信号投影为统一的形态感知潜在 token,并由共享触觉 Transformer 专家联合建模。

    推荐理由:FTP-1 是首个跨传感器触觉基础策略,在 26 个数据源预训练后,未见过的传感器也能提升接触丰富操作的成功率。

  4. arXiv · 机器人与计算机视觉82

    DRIFT:一种用于解码视觉语言模型连续输出的残差流适配器

    针对现代视觉语言模型(VLM)难以处理需要精确连续输出的问题(如事件时间边界定位或机器人控制动作),本文提出 DRIFT 框架,结合基础预测器与基于流匹配的生成细化模块。该残差公式将全局分布学习转化为局部残差建模,简化优化过程。研究在感知和规划任务上评估了该方法,涵盖多模态大模型、视觉语言动作模型及世界动作模型等多种架构,结果显示 DRIFT 一致优于现有的回归和生成类解决方案。

    推荐理由:提出 DRIFT 框架,利用流匹配残差适配器解决 VLM 连续输出难题,在感知与规划任务上优于回归及生成基线。

  5. arXiv · 机器人与计算机视觉82

    ReGuLaR:面向大视觉语言模型的关系 grounded 潜在推理框架

    针对现有链式思维推理难以编码连续视觉证据的问题,本文提出 ReGuLaR 框架,利用训练时的 ReGFormer 聚焦问题相关物体与关系,在推理阶段无需调用该模块即可生成答案。研究构建了 RGROUNDING-351K 数据集以支持模型训练,并在多个基准测试中取得了优于现有方法的最先进性能。

    推荐理由:提出基于关系的潜在推理框架 ReGuLaR,通过训练时显式建模物体关系提升大视觉语言模型的连续证据编码能力。

  6. arXiv · 机器人与计算机视觉78

    RePO-VLA:面向视觉语言动作模型的恢复驱动策略优化

    针对长视野接触型操作中仅模仿成功样本监督不足的难题,该研究提出 RePO-VLA 框架,通过恢复感知初始化、进度感知语义价值函数及价值条件化微调等技术,将对抗性成功率从 20% 提升至平均 75%。材料介绍了 Failure-Recovery Benchmark (FRBench) 基准测试,并在仿真与真实世界双臂任务中验证了该方法的有效性。

    推荐理由:RePO-VLA 框架通过区分成功、恢复与失败轨迹,利用价值条件化微调提升 VLA 模型的鲁棒性。

  7. arXiv · 机器人与计算机视觉82

    AmaraSpatial-10K:面向空间计算与具身智能的时空对齐 3D 数据集

    AmaraSpatial-10K 是一个包含 10,071 个合成 3D 资产的数据集,所有资产均经过标准化处理以支持直接摄入。每个资产提供符合物理尺度的.glb 文件、分离的 PBR 贴图、凸碰撞包络、配对参考图像及多句文本元数据。

    推荐理由:该数据集提供标准化 3D 资产与独立评测套件,显著改善检索召回率并提升仿真稳定性。

  8. arXiv · 机器人与计算机视觉82

    OmniBrain-0:一种用于具身智能的统一代理模型

    论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。

    推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。

  9. arXiv · 机器人与计算机视觉78

    基于学习的安全滤波器的灵巧手内手持物体姿态到达研究

    针对多指灵巧手的内手持物体姿态调整任务,本文提出了一种无需人类数据即可在仿真中训练的策略配方,涵盖多样化重置、生成抓握数据集及自适应摩擦课程。通过系统辨识,该策略可零样本迁移至真实 LEAP 机械手,仅需手腕深度相机或动作捕捉即可实现。

    推荐理由:本文提出无需人类数据的灵巧手策略训练配方,并通过学习到的残差安全滤波器将物体掉落率降低 75%,同时保持高成功率。

  10. arXiv · 机器人与计算机视觉83

    通过可微分仿真学习四旋翼穿越动态窄缝的视运动控制

    本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。

    推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。

  11. arXiv · 机器人与计算机视觉82

    免渲染事件帧仿真加速自主机器人导航的强化学习

    针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。

    推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。

  12. arXiv · 机器人与计算机视觉82

    World Dreamer v5-lite:一种基于共享世界状态的多机器人动作模型

    这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。

    推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。

  13. arXiv · 机器人与计算机视觉82

    MARL-Exo:一种用于降低代谢能耗的髋关节外骨骼协同自适应控制方法

    该研究提出 MARL-Exo 框架,通过多智能体强化学习在仿真中同时训练全身体肌肉骨骼模型与双侧髋关节外骨骼策略。策略仅观测延迟的髋部运动学信息,奖励函数包含基于生理学的代谢功率(及可选的机械功塑形)。

    推荐理由:该研究展示了通过多智能体强化学习在仿真中与人体模型共适应训练的髋关节外骨骼策略,能在无需针对新用户单独调优的情况下降低代谢成本。

  14. arXiv · 机器人与计算机视觉83

    PDRVLA:一种具备物理动力学表征的视觉语言动作模型

    针对现有 VLA 模型对物理动力学理解有限且视频世界模型引入高延迟的问题,该研究提出了 PDRVLA 模型。其核心是一个轻量级物理动力学模块,能从视觉语言特征中提取物理 token 以条件化动作生成,无需在线视频生成。

    推荐理由:该工作提出利用轻量级物理动力学模块替代在线视频生成,在四个仿真基准上实现了高成功率。

  15. arXiv · 机器人与计算机视觉82

    从 12 到 200 次演示:ACT、Diffusion Policy、SmolVLA 和π0.5 在低成本机械臂上的扩展性研究

    该论文对比了 ACT、Diffusion Policy、SmolVLA 和π0.5 四种模仿学习策略,通过在低成本 SO-101 机械臂上执行带干扰物的抓取放置任务(演示量从 12 次增至 200 次),评估了其扩展性。

    推荐理由:该研究对比了四种模仿学习策略在低成本机械臂上的表现,揭示了数据量与微调方法对成功率的具体影响及失败模式差异。

  16. arXiv · 机器人与计算机视觉83

    GAWM:一种用于多任务机器人操作的紧凑潜在世界动作模型

    arXiv 论文 GAWM 提出了一种紧凑的多任务世界动作模型(WAM),旨在解决现有基于百亿参数视觉语言或视频生成骨干网络的高训练成本与推理延迟问题。该模型在冻结的 DINOv3 编码器潜在空间内预测未来观测,将每个相机视图的特征压缩为少量 token,并通过轻量级预测器根据任务而非动作来预报这些 token。

    推荐理由:该工作提出了一种仅用不到1亿参数且无需预训练的紧凑型世界动作模型,在RoboTwin 2.0和LIBERO基准上表现优异。

  17. arXiv · 机器人与计算机视觉78

    TAPESTRY:一种用于视频生成与机器人控制的单一骨干网络

    论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。

    推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。

  18. arXiv · 机器人与计算机视觉82

    RynnWorld-Latent:一种基于通用潜在动作的跨具身世界模型

    论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。

    推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。

  19. arXiv · 机器人与计算机视觉84

    基于评估引导的演示优化:MetaFine 开放竞赛获奖作品

    论文介绍了在 MetaFine Open Competition 中排名第一的视觉语言动作策略 MAI。研究从官方演示出发,针对抓取、推搡和插入等局部失败,通过修订运动轨迹并添加专家续写进行优化,同时保留原始演示用于训练。所有检查点均按指令比较,确保单一指令的收益不会掩盖其他指令的损失。最终提交以 96.66 分获得综合第一。

    推荐理由:作者针对 MetaFine 竞赛中的抓取与插入失败,通过局部评估指导演示修正并加入专家续写策略,最终提交 MAI 以 96.66 分获第一。