跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 39 页

10月14日周三第 761–780 条
  1. 智东西 · 机器人82

    Google DeepMind 发布通用物理推理模型 Gemini 4 Argon

    Google DeepMind 正式上线通用物理推理模型 Gemini 4 Argon,该模型具备视觉语义推理、物理理解和代码生成能力。Argon 支持通过观看视频或手绘草图构建仿真环境(Real2Sim),在 MuJoCo 等环境中进行零样本控制与技能学习,并能分析操作过程以优化机器人表现。

    推荐理由:DeepMind 上线通用物理推理模型 Gemini 4 Argon,支持从视频或草图构建仿真环境、零样本控制及自我改进优化机器人动作表现。

10月13日周二
  1. Hugging Face Daily Papers78

    基于信念更新与世界模型的长程智能体失败恢复方法

    针对长程智能体难以从早期错误中恢复的问题,本文提出了 BELIEFWEAVER 框架。该方法通过维护前沿、尝试、观测和检查点的关系信念状态,利用执行证据更新优先级并控制执行,同时使用隐式世界模型评估修复假设以指导探索。研究进一步通过监督微调与在线策略蒸馏,将推理组件压缩至 9B 学生模型,在三个终端基准测试中相比原生基线显著提升了最终得分,并将教师模型 API 调用成本降低了 54.8%。

    推荐理由:该工作提出结合信念更新与世界模型的长程恢复框架,并通过蒸馏将推理成本降低一半以上。

  2. Hugging Face Daily Papers85

    Socratic Skill Learning:交错教学与实践以获取可迁移的智能体技能

    论文介绍 Socratic Skill Learning (SSL) 框架,该框架让智能体在专家指导下进行自我练习与技能编写,从而获得可复用的任务知识。研究构建了包含 35 个任务家族和 408 个执行案例的 SkillTransferBench 基准进行测试。

    推荐理由:提出 Socratic Skill Learning 方法,通过 interleaved teaching 提升 Agent 技能复用性,并开源基准与代码。

10月12日周一
  1. arXiv · 机器人与计算机视觉78

    EmbodiTTA:面向具身视觉系统的资源高效测试时自适应方法

    该预印本论文针对资源受限边缘设备,提出一种按需触发(on-demand)的测试时自适应新范式及 OD-TTA 框架。该方法通过轻量级域偏移检测机制仅在必要时激活自适应、引入源域选择模块确保高鲁棒性准确率,并采用解耦批归一化更新方案实现小批量内存高效适配。

    推荐理由:提出按需测试时自适应框架,在资源受限边缘设备上显著降低能耗与计算开销。

  2. arXiv · 机器人与计算机视觉82

    Watch, Recall, Act: Always-On Robots in Concurrent Embodied Streams

    论文提出了 ARMS(Always-on Robot in Multi-modal Streams)框架,旨在解决机器人面对无限流任务时所需的持续观察、回忆过去动作及双臂并发执行挑战。

    推荐理由:该工作提出 ARMS 架构,利用预训练骨干与轻量模块解决双臂并发下的持续感知、记忆与行动问题。

  3. arXiv · 机器人与计算机视觉77

    DIDO:将交互中心动力学蒸馏为一步去噪的世界动作模型

    世界动作模型(WAMs)利用视频生成预测机器人操作的未来视觉动态,但迭代去噪引入了闭环控制的额外延迟。研究发现静态背景结构收敛快而夹持器与物体的交互动力学需多步才能显现,直接截断会丢失关键信息。

    推荐理由:针对多步视频生成在闭环控制中的延迟问题,提出 DIDO 方法将交互动力学蒸馏至单步去噪,结合视觉推理 token 与 DINOv3 对齐,显著降低推理耗时并提升操作成功率。

  4. arXiv · 机器人与计算机视觉82

    DRIFT:利用对抗补丁破坏流匹配 VLA 的去噪轨迹

    论文指出流匹配视觉语言动作(VLA)模型如 pi0 声称的抗干扰能力存在幻觉,源于以往攻击忽略了多步去噪常微分方程。作者提出 DRIFT 方法,通过在机器人夹爪上放置单个通用对抗补丁,仅攻击第一个去噪步骤即可破坏任务求解率。实验在四个 LIBERO 套件上的 pi0 和 pi0.5 模型验证了该方法的有效性,其效果远超动作空间和嵌入空间的攻击基线。

    推荐理由:该工作揭示了流匹配 VLA 模型在去噪轨迹上的脆弱性,提出了一种仅需攻击首个去噪步骤的通用对抗补丁方法。

  5. arXiv · 机器人与计算机视觉83

    BrickCraft:基于情境化手动引导的长周期互锁积木组装视觉运动技能组合

    论文提出了 BrickCraft 框架,旨在解决长周期互锁积木组装任务中高层规划与物理执行的鸿沟。该方法采用相对公式建模组装过程,将复杂任务分解为有限可复用的基础技能;利用情境化手动引导(situated manuals)将组装意图投影到实时机器人观测上,提供显式空间指导;并通过模块化执行流水线串联这些基于空间的技能以完成长周期任务。

    推荐理由:提出 BrickCraft 框架,通过相对公式与情境化手动引导实现长周期积木组装技能组合。

  6. arXiv · 机器人与计算机视觉82

    通过神经算子实现软体机器人的无限维闭环逆运动学

    针对欠驱动软体机器人构型空间无限维且难以解析建模的问题,本文提出一种基于神经算子网络的闭环逆运动学算法。该方法将驱动到形变映射与形变到任务映射组合,利用无限维链式法则推导雅可比矩阵,并通过可微神经网络学习复杂的软体动力学模型。研究首先在恒定曲率段进行理论分析,随后在三纤维软体机械臂上验证了基于形态弹性理论和主动丝理论的算法有效性。

    推荐理由:该文提出基于神经算子的无限维闭环逆运动学方法,解决欠驱动软体机器人的控制难题。

  7. arXiv · 机器人与计算机视觉78

    HumanX:从人类视频迈向敏捷通用的类人形交互技能

    HumanX 是一个统一框架,无需针对每个任务设计奖励函数,即可将人类视频编译为具身智能机器人的通用交互技能。该框架包含两个核心组件:XGen 用于从单目视频生成物理合理的交互数据并扩充数据集;XMimic 则利用秒级演示学习可泛化的交互技能。

    推荐理由:该框架将人类视频转化为可泛化的机器人交互技能,在五项任务中实现零样本迁移至物理机器人。

  8. arXiv · 机器人与计算机视觉78

    MAGMA-Bench:面向动态任务与执行失败的长周期具身智能体评测基准

    论文介绍了 MAGMA-Bench 这一架构无关的评测基准,用于评估具身智能体在动态多机器人环境下的持久任务推理能力。该基准涵盖从简单到复杂的任务跨度,并引入受控的在线扰动(如执行失败、任务中断和任务更新),要求智能体协调具有异构能力的机器人。

    推荐理由:该基准针对长周期多机器人任务中的动态干扰与执行失败提供架构无关的评测,并公开了训练数据与专家轨迹生成管线。

  9. arXiv · 机器人与计算机视觉78

    AlphaNIST:从稀疏二元奖励中涌现的装配技能

    论文提出 AlphaNIST 框架,在仿真环境中训练单一策略从零学习 NIST Assembly Task Board #1 上的全部 20 个装配任务,整体训练成功率达 98.2%,无需演示、进度塑形或脚本化原语。该策略还能在同一回合内完成十对零件的无序装配,并涌现出选择后续抓取、利用几何重定向及分步准备等灵巧与规划类行为。材料为预印本,链接指向 arXiv。

    推荐理由:该预印本报告在仿真环境中,仅凭稀疏二元奖励和任务多样性训练出单一策略完成 NIST 装配板全部 20 个任务,无需演示或进度塑形。

  10. arXiv · 机器人与计算机视觉78

    基于固定点流匹配的强化学习方法

    针对最大熵和受约束行为强化学习中最优策略采样困难的问题,本文提出了固定点流匹配(FFM)这一无需训练数据的方法。该方法利用目标流恒等式将演员更新构建为固定点迭代,以评论器的动作梯度作为回归目标进行流匹配风格的优化。实验表明,FFM 能有效微调预训练流策略并支持从零开始的在线强化学习训练,确立了其在不依赖训练数据情况下学习表达性流策略的原则性方法地位。

    推荐理由:提出无需训练数据的固定点流匹配方法,解决在线强化学习中策略分布采样难题。

  11. arXiv · 机器人与计算机视觉82

    Splat2Act:从捕获场景到个性化 VLA 操作

    针对通用操作策略在用户家中零成功率且采集演示成本高昂的问题,该研究提出 Splat2Act 自动化实到仿再到实流程。该方法利用手持设备扫描与物体图片构建包含碰撞几何的逼真数字孪生,自动发现收纳位并生成成功演示。在 101 个校园环境中,策略经两阶段微调后,目标场景整体拾取成功率达 62.5%,真实机器人部署子集任务成功率为 63.9%。

    推荐理由:该工作提出自动化实到仿再到实的流程,仅凭手机扫描与物体图片即可将通用 VLA 策略个性化至特定场景。

  12. arXiv · 机器人与计算机视觉83

    Chronos Policy:在物理时间上学习机器人策略

    针对现有机器人策略将物理时间隐含于序列位置的问题,本文提出 Chronos Policy,通过在扩散 Transformer 中显式利用观测捕获时间和动作执行时间来增强鲁棒性。

    推荐理由:提出显式利用物理时间条件的机器人策略方法,通过时间感知 RoPE 提升动态任务鲁棒性。

  13. arXiv · 机器人与计算机视觉78

    SmolWAM:面向边缘设备的潜在世界 - 动作机器人操作模型

    论文提出 SmolWAM,这是一种从 Cosmos Policy 衍生出的潜在世界 - 动作模型(latent WAM),旨在解决视频扩散 Transformer 在资源受限边缘设备上计算成本过高的问题。

    推荐理由:该工作提出 SmolWAM,通过保留预训练主干并重构推理接口,在边缘设备上实现了高效的世界 - 动作联合预测。

  14. arXiv · 机器人与计算机视觉80

    ATHLETE:通过轨迹引导的运动匹配学习反应式人形网球

    ATHLETE 是一个从通用运动数据和普通网球视频中学习反应式人形网球技能的框架。该方法结合 LAFAN1 步态与视频衍生的击球动作,利用轨迹引导的运动匹配构建任务条件化的全身参考,并通过基于物理的教师 - 学生学习与在线 DAgger 蒸馏转化为反应策略,最后经 PPO 微调实现无需参考运动输入的部署。

    推荐理由:该工作提出 ATHLETE 框架,利用通用运动数据与视频演示学习人形机器人网球技能,在真实机器人上实现高命中率的多拍对打。

  15. arXiv · 机器人与计算机视觉78

    ELMA:用于长期文本到动作生成的指代性组合基准

    本文介绍 ELMA,一个具有密集分段注释的长期动作生成数据集,旨在解决现有模型难以处理涉及指代关系的跨段约束问题。研究团队通过全自动管道从网络视频中提取高质量连续 30 秒片段,并微调了最先进的动作生成模型以融入长程上下文。

    推荐理由:ELMA 数据集与基准揭示了现有模型在处理长程指代性指令时的不足,为长期动作生成提供了新的评估标准。

  16. arXiv · 机器人与计算机视觉78

    Robot-WATCHDOG:基于物体中心图表示的机器人操作故障检测

    论文介绍 Robot-WATCHDOG 框架,通过构建物体中心的时空图实现无需显式定义失败模式的自监督故障检测。方法包含非参数化的轨迹投影与相关性评分(TPC)及结合 Transformer 的图注意力网络(GnnT),在公开基准与新数据集上均优于图像基线,尤其擅长捕捉语义和交互级错误。

    推荐理由:提出基于物体中心时空图框架的自监督故障检测方案,在语义与交互级错误上优于图像基线。

  17. arXiv · 机器人与计算机视觉78

    EndoRSI:基于物理证据的内窥镜机器人策略递归改进

    EndoRSI 是一个由嵌入式 EndoForge 编码代理驱动、以物理实验证据进行递归自我改进的人机共驾内窥镜机器人研究系统。物理执行在安全受限运行时且经人类授权下进行。

    推荐理由:该工作提出由嵌入式代理驱动、以物理实验证据递归改进内窥镜机器人策略的系统,展示了从初始失败到最终在六例离体猪标本中表现最优的自主策略演进过程。