跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 38 页

10月16日周五第 741–760 条
  1. arXiv · 机器人与计算机视觉78

    Efficient Test-Time Adaptation For Robot Policies

    针对强化学习机器人在部署时因环境变化导致性能下降且难以重训练的问题,本文提出 TEMPO 方法。该方法利用冻结的预训练评论家(critic)作为代理,通过熵正则化缓解过度自信外推,并结合基于分数的记忆机制优先处理难样本以聚焦关键计算。

    推荐理由:提出 TEMPO 方法,通过熵正则化与记忆引导优化策略,在仿真及真实机器人上实现测试时自适应。

  2. arXiv · 机器人与计算机视觉78

    Atomic-WAM:面向世界动作模型的执行 grounded 原子运动推理

    论文介绍 Atomic-WAM,这是一个理解后执行的框架,旨在解决任务级指令对物理交互定义不足的问题。该方法利用视觉语言推理器描述局部运动以引导世界动作模型预测视频和动作片段,并通过自动标注流程从多视角 DROID 演示中获取接触丰富的监督信号。

    推荐理由:提出 Atomic-WAM 框架,通过原子运动描述连接任务推理与动作生成,在 RoboLab 上实现执行 grounded 的奖励优化。

  3. arXiv · 机器人与计算机视觉78

    HM3D-M3:多智能体多模态多目标导航新基准发布

    论文提出了 HM3D-M3 基准,旨在解决现有研究将多智能体、多模态与多目标导航割裂的问题。该基准在一个光真实室内场景中,让 K 个机器人团队从分布位置出发,搜索由类别名、实例图片或口语描述指定的 M 个无序目标。

    推荐理由:该基准填补了多智能体、多模态与多目标导航同时存在的空白,提供了千集验证数据及两个基线方法。

  4. arXiv · 机器人与计算机视觉78

    FoveaVLA:用注视动作替代 VLA 中的腕部相机

    论文 FoveaVLA 提出一种视觉语言动作模型,通过预测交互区域的注视动作来替代腕部相机,从而在保持全局视野的同时恢复操作所需的细节。该模型基于 pi_0.5 构建,支持单目或双目外部立体相机输入,并在 DROID 上后训练。

    推荐理由:该工作提出用预测的注视区域裁剪替代腕部相机,在单目和双目配置下均提升了真实世界任务成功率。

  5. arXiv · 机器人与计算机视觉82

    MUCO:一种面向组合式长程任务的操纵单元结构化框架

    论文介绍 MUCO 框架,通过定义具有局部目标、触发条件和判定标准的操纵单元(MU),实现无需联合训练即可在多个任务间复用策略的能力。系统基于冻结的能力注册表匹配模型,利用视觉验证结果控制状态转移与回退机制,并在 RLBench、RoboTwin 2.0 及五个真实世界任务中评估了其在成功率、错误抑制和跨任务复用方面的表现。材料为 arXiv 预印本版本,未提及同行评审或具体部署许可。

    推荐理由:该工作提出将长程任务拆解为可复用单元并动态编排的策略,在仿真与真实世界任务中验证了跨任务复用能力。

  6. arXiv · 机器人与计算机视觉78

    视觉语言动作模型中世界建模的关键因素研究

    论文提出将世界模型集成到视觉语言动作模型(VLAs)以增强策略对未来动态的预测能力。研究通过统一框架系统评估了四种范式:隐式未来对齐、显式未来查询、MoT 未来专家和外部分布预测器,并在域内/外、长视界及真实场景下进行了测试。

    推荐理由:该研究通过统一框架系统评估了四种世界模型集成范式,发现解耦的 MoT Future Expert 在跨域鲁棒性上表现优异,且 2D 语义表示具有通用增益。

  7. arXiv · 机器人与计算机视觉78

    ACRO:一种用于视觉语言动作策略的演员 - 评论家滚动编排层

    本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。

    推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。

  8. arXiv · 机器人与计算机视觉83

    SPECTRA-VLA:在冻结视觉 - 语言 - 动作接口上的基座微调与超光谱令牌传输

    论文 SPECTRA-VLA 提出一种方法,在不重新训练视觉编码器或动作解码器的情况下,为预训练的视觉 - 语言 - 动作模型提供原生宽度的光谱升级。该方法通过学习到的连续残差丰富每个目标令牌,并利用投影、归一化控制和验证校准的注入来调节变化。

    推荐理由:提出在冻结 VLA 接口上通过连续残差注入提升高光谱识别,无需重训编码器或动作解码器。

  9. arXiv · 机器人与计算机视觉78

    E2DRL:用于四足机器人 3D 避障的端到端可微强化学习

    该论文针对腿式运动控制中硬碰撞约束破坏梯度信号的问题,提出 E2DRL 框架,通过软可微障碍物交互公式与速度条件停止梯度塑造提供训练信号。系统利用 Soft Analytic Policy Optimization 训练的教师在仿真中蒸馏深度基学生策略,并结合地形感知门控模块实现部署。

    推荐理由:提出软可微障碍物交互公式,在四足机器人上实现端到端视觉避障的仿真到现实验证。

  10. arXiv · 机器人与计算机视觉78

    PolyMorph:面向跨形态适应的腿部机器人运动策略学习

    论文提出 PolyMorph 框架,将机器人 URDF 转换为关节连杆模块,结合循环编码器、基于图的 Transformer 和每关节解码器,生成适用于不同腿数和关节配置的单一运动策略。

    推荐理由:PolyMorph 框架通过形态归一化奖励与图 Transformer,实现单策略跨双足、三足及四足机器人的通用迁移。

  11. arXiv · 机器人与计算机视觉82

    Dual-arm Cooperation for Tabletop Wiping with Temporal Object Removal

    该研究提出一种针对桌面擦拭的双臂协作规划框架,旨在解决表面清洁中散落物体的遮挡问题。不同于传统仅覆盖自由区域并绕行障碍物的策略,该方法明确分配一只手臂进行物体重排,另一只执行覆盖式擦拭,从而访问先前受阻区域。

    推荐理由:提出双臂协作框架,通过几何感知任务规划与运动优化,在存在散落物体时显著提升擦拭覆盖率与效率。

  12. arXiv · 机器人与计算机视觉82

    HiFun:一种用于高效功能灵巧操作的层次化框架

    针对多指灵巧手在执行任务时依赖精确接触、协同运动及错误恢复的难点,论文提出 HiFun 分层强化学习框架。该方法将控制复杂度解耦为负责精确接触的‘功能手技能’和负责臂控与激活技能的‘臂手协调策略’。

    推荐理由:提出分层强化学习框架 HiFun,通过解耦手技能与臂手协调策略,在两个灵巧手上实现 98.3% 平均成功率。

  13. arXiv · 机器人与计算机视觉78

    Paraphrase Consensus Is Not Self-Consistency: Instruction Reliance and Robustness in VLA Policies

    该研究基于 LIBERO 数据集发现,Vision-language-action (VLA) 策略对特定指令字符串高度敏感,同义改写会导致基线 OpenVLA 成功率下降约 38.0 分。

    推荐理由:揭示指令微调策略对 VLA 模型鲁棒性的影响,指出同义改写无法恢复因指令依赖导致的性能损失。

  14. arXiv · 机器人与计算机视觉78

    $S^3$-Nav:面向语言引导机器人导航的结构化空间语义决策框架

    论文提出了$S^3$-Nav框架,旨在解决部分可观测环境下的语言引导机器人导航问题。该方法不预设完整环境表示,而是增量构建持久化的空间语义状态,仅向高层策略暴露容量可控的任务条件视图。

    推荐理由:该工作提出结构化空间语义决策框架,通过分离持久状态与策略视图提升导航可靠性并降低推理成本。

10月14日周三
  1. Hugging Face Daily Papers78

    SERO:基于可执行预言机续写的长视界智能体强化学习

    该论文针对长视界智能体强化学习中因策略探索失败导致无法有效分配信用的问题,提出 SERO 方法。该方法在恢复当前策略实际到达的状态后,利用仅用于训练的预言机与环境交互,获取下游观测与动作作为监督信号,并通过策略可达性加权优化损失函数。研究在 ALFWorld 和 WebShop 两个基准上验证了该方法的有效性,且推理阶段无需使用预言机。

    推荐理由:提出 SERO 方法,利用可执行预言机续写解决长视界强化学习的监督难题。

  2. Hugging Face Daily Papers78

    DeLoop:通过重复动作作为自监督实现长视界智能体的训练优化

    针对语言模型智能体在长任务中频繁出现重复工具调用(循环)的问题,论文提出 DeLoop 方法。该方法利用智能体自身的 rollout 数据,将循环动作视为负样本、后续非循环动作为正样本,通过直接偏好优化进行自监督训练,无需外部奖励或人工评判。

    推荐理由:提出利用自身循环行为进行自监督训练的 DeLoop 方法,无需奖励或人工评判即可降低长任务中的重复操作并提升成功率。

  3. Hugging Face Daily Papers85

    MAI-Gym:面向移动与计算机环境的 GUI Agent 评测与 RL 训练开源平台

    论文介绍 MAI-Gym 这一开放的一体化平台,统一了移动端、电脑端和 Web 端的 GUI Agent 评测、数据收集及在线强化学习训练流程。该平台通过共享部署管道确保行为一致性,支持十个基准测试并扩展至两万并行环境实例。

    推荐理由:MAI-Gym 平台统一了移动与计算机环境的 GUI Agent 评测与在线强化学习训练,支持合成任务并实现了从模拟到物理设备的技能迁移。

  4. Hugging Face Daily Papers82

    Pack Light, CarryOn:构建面向长周期智能体的面向对象上下文

    论文介绍 CarryOn,一种将长周期任务上下文组织为可复用对象的运行时机制,避免依赖压缩的历史记录。该方法通过维护载体记录、结合环境检查更新基础信息并保留未受影响记录,在 OSWorld 2.0 和 BrowseComp-Plus 基准上分别提升性能 5.8% 和 7.0%,同时降低 Token 使用量 51.9% 和 22.9%。材料为预印本论文,提供 GitHub 项目页面链接。

    推荐理由:提出 CarryOn 对象化上下文运行时,在 OSWorld 和 BrowseComp-Plus 上提升性能并显著降低 Token 消耗。

  5. Google DeepMind87

    Gemini 4 Argon 发布:物理 AI 模型解锁机器人控制与仿真构建新工作流

    DeepMind 发布 Gemini 4 Argon,该模型在 ERQA 基准测试中纯推理得分 87%,超越其他前沿模型。Argon 支持从遥操作到自主控制的闭环视觉回路,能基于真实视频或手绘草图构建物理校准的 MuJoCo 仿真双胞胎,并开放了多模态后见性标注与价值函数预测等工具。

    推荐理由:DeepMind 发布 Gemini 4 Argon,在 ERQA 基准测试中纯推理得分 87%,并开放了从代码生成到仿真构建的机器人工作流入口。

  6. Google DeepMind82

    Gemini 4 Argon 发布:具身推理与复杂工程任务全球上线

    Google DeepMind 正式发布 Gemini 4 Argon 模型,该模型在具身推理基准 ERQA 中以 87% 的分数领先其他前沿模型,并展示了通过观看人类操作视频自主构建仿真代码、进而将技能迁移至人形机器人(Apptronik Apollo)实现连续投掷的技能。

    推荐理由:DeepMind 发布 Gemini 4 Argon,在具身推理基准 ERQA 以 87% 分数领先,并展示通过观看视频自主构建仿真代码并在人形机器人上实现技能迁移的能力。