跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 34 页

10月19日周一第 661–680 条
  1. arXiv · 机器人与计算机视觉78

    Embodiment-Aware Planning for Heterogeneous Bimanual Manipulation

    该论文研究如何利用异构双臂系统(配备吸盘和平行夹爪)协同完成单一末端执行器难以胜任的复杂操作任务。作者提出了一种感知驱动的规划框架,将执行过程建模为有限时域优化问题,在每一阶段动态决策单臂操作或双臂协作交接,并联合推理抓握可行性、运动约束及跨抓爪兼容性。实验基于双 Franka FR3 平台进行,结果表明该方法显著提升了原本无法通过单抓爪执行的任务的可行性和可靠性。

    推荐理由:原文提出了一种针对异构双臂操作的感知驱动规划方法,通过联合优化臂轨迹分配与抓握切换策略,在双 Franka 平台上验证了其在复杂任务中的可行性提升。

  2. arXiv · 机器人与计算机视觉78

    无眼亦无忧:触觉对盲操拨珠的贡献研究

    Ayush Deshmukh 等人提出了一种结合传感器对齐、触觉校准及新型域随机化的框架,在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转。物理实验完成单次连续 225 次(112.5 圈)180°旋转,速度约 0.36 转/秒,刷新了该任务的硬件基准并明确了触觉感知的关键区域贡献。

    推荐理由:该研究在 Shadow Dexterous Hand Lite 上实现了无需视觉的连续拨珠旋转,验证了触觉校准与仿真域随机化对跨越 Sim-to-Real 鸿沟的有效性。

  3. arXiv · 机器人与计算机视觉78

    超越成功率:视觉语言动作系统中记忆的干预式评估

    针对机器人记忆系统仅凭成功率无法验证任务相关事实有效性的问题,本文提出了干预式记忆评估协议(IMEP)。研究在检索接口对比了目标事实替换与事实保留替换的效果,并引入 ChainBench 基准测试历史信息的必要性。实验显示,跨集学习库中特定干预改变了 11.9% 的结果,而完整记忆配置将任务成功率从 39.1% 提升至 74.3%,证实了正确历史信息对决策的支持作用。

    推荐理由:提出 IMEP 协议与 ChainBench,证明记忆系统需通过事实特异性干预评估而非仅看成功率。

  4. arXiv · 机器人与计算机视觉84

    LAW:统一语言、动作与世界建模以服务于代理物理智能

    论文提出了 LAW 框架,通过语义子任务进度将语言推理、动作生成和世界建模统一起来。其混合专家视觉语言模型负责规划剩余子任务并融合世界动作模型的提议,同时异步评估执行状态;世界动作模型利用 Transformer 专家混合架构进行视频与动作联合建模。

    推荐理由:该工作提出 LAW 框架,在 RoboTwin 基准上达到 95.56% 成功率并开源 OpenWAM-alpha,展示了语言推理、动作生成与世界建模的统一路径。

  5. arXiv · 机器人与计算机视觉78

    LY-GWM-RoboCasa-Human300:基于图动力学模型的预测引导动作选择技术报告

    该技术报告介绍了 LY-GWM-RoboCasa-Human300 策略,该策略结合了经 Human300 微调的 GR00T-N1.5 动作生成器、动作条件化的图动力学模型以及学习到的二元状态奖励评分器。

    推荐理由:该报告提出结合人类动作微调与图动力学模型的预测引导策略,在 RoboCasa 基准上实现了优于历史基线的成功率提升。

  6. arXiv · 机器人与计算机视觉78

    NestedVLA:学习整合与生成视觉语言动作模型技能

    针对 VLA 模型在多任务环境中技能整合困难的问题,该研究提出 NestedVLA 框架,利用嵌套超网络根据目标任务合成自适应的动作专家参数,并与冻结的基础 VLA 组合,同时保留特定任务的压缩 VLM 残差。

    推荐理由:提出 NestedVLA 框架,通过超网络生成任务自适应参数实现技能合并,在 MetaWorld、ManiSkill 和 CALVIN 基准上表现优于模型合并基线。

  7. arXiv · 机器人与计算机视觉83

    VLA-Fabric:面向可组合多臂 VLA 智能体的交互学习

    针对多臂协同操作需求,本文提出 VLA-Fabric,在保留各臂局部感知与动作所有权的同时,通过策略间显式交互实现协调。研究系统分析了交互发生位置、同伴信息聚合方式及学习机制,并在不同架构中验证了该原则的通用性。在仿真与物理实验中,由三支或四支手臂组成的团队在所有四项物理任务上,全量交互模式相比独立训练策略将成功率提升了 16% 至 40%。

    推荐理由:该文提出 VLA-Fabric,通过策略间显式交互提升多臂协作成功率,物理实验显示效果优于独立训练。

  8. arXiv · 机器人与计算机视觉78

    混合离散连续规划中的优良符号由什么决定?

    该论文从求解器视角定义符号有用性,引入求解器充分符号化概念并提出反例引导的符号发明算法。研究将原理扩展至神经网路参数化的优化目标,证明可从连续优化景观中诱导此类符号。实验表明所得符号在降低求解成本、保持解质量的同时提升了可解释性与可控性,并解释了部分人工定义符号的有效性。

    推荐理由:提出求解器充分符号化概念与反例引导算法,在仿真及真实机器人任务中降低求解成本并提升可解释性。

  9. arXiv · 机器人与计算机视觉78

    硬件即正则化:通过可调式被动顺应性引导臂增强模仿学习的数据一致性

    针对低成本被动引导臂缺乏恢复力导致关节空间轨迹不一致的问题,研究团队提出一种包含可调机械离合器和 3D 打印螺旋弹簧的低成本被动关节模块。该模块产生的被动恢复力等效于关节空间的 L2 正则化(即“硬件即正则化”),在缩短完成时间的同时保持运动平滑性。

    推荐理由:提出利用低成本被动关节模块作为物理先验,在模仿学习中提升轨迹一致性与下游任务成功率。

  10. arXiv · 机器人与计算机视觉82

    Shift-Reliance Alignment:通过模型信任的线索对视觉语言模型进行排名

    针对视觉语言模型在场景暗示但实际不存在的物体问题上易产生幻觉的问题,论文提出 Shift-Reliance Alignment(SRA)指标。该方法通过编辑图像中的线索来测量模型对各线索的依赖程度,结合源域误差与目标域线索误导比例,预测并选择最佳模型。实验显示 SRA 能有效降低在 Objects365 和 OpenImages 上的错误率,且优于仅基于置信度或源域误差的选择方法。

    推荐理由:提出基于模型对线索依赖度的新评估指标 SRA,能更准确预测目标域表现并降低幻觉误差。

  11. arXiv · 机器人与计算机视觉78

    Micro-Localization:基于地面纹理的亚毫米级移动机器人高精度定位

    该论文提出了一种利用显微光学读取自然地面纹理以实现高精度全局定位的方法,将定位精度提升至数十微米量级。研究通过校准的移动龙门架系统验证了该方法在不同表面纹理上的表现,在 1007 个测试查询中实现了 28-73 微米的平移均方根误差(RMSE),且独立光度配准与特征定位估计的误差约为 9 微米。

    推荐理由:原文展示了利用显微光学实现微米级移动机器人定位的方法,并验证了其在热膨胀等场景下的鲁棒性。

  12. arXiv · 机器人与计算机视觉83

    Scaling Online Exploration for Robot Agents:RAX 框架发布

    论文介绍 RAX(Robot Agent eXploration)开源框架,旨在通过在线探索扩展机器人智能体能力。该框架利用通用代码生成智能体编写控制代码,无需动作演示数据或人工设计的动作基元。研究在仿真和真实机器人上验证了其在单臂、双手、灵巧操作及人形系统上的表现,结果显示在未见环境中泛化性能随探索规模提升,且自主学习能力优于现有基线模型。

    推荐理由:RAX 框架通过在线探索与代码生成实现无演示数据训练,在仿真与真机上均优于基线模型并涌现出主动感知等能力。

10月18日周日
10月17日周六
  1. Hugging Face Daily Papers82

    LEASH:一种用于计算机使用智能体的不确定性感知弱到强升级与监督框架

    针对长程任务中运行前沿模型昂贵而小模型易失败的矛盾,本文提出 LEASH 这一无需训练的框架。该框架利用弱模型的隐状态不确定性信号,仅在必要时将控制权移交强模型,并在移交后通过影子观测器对黑盒强模型进行持续监督。

    推荐理由:提出无需训练的 LEASH 框架,利用弱模型隐状态不确定性实现按需调用强模型并持续监督,在 OSWorld 基准上显著降低推理成本。

10月16日周五
  1. Hugging Face Daily Papers83

    FDE-Gym:AI 交付的最后一步——揭示真实客户交付中的能力缺口

    论文介绍 FDE-Gym 基准,包含来自 18 个行业、20 种场景的 95 项端到端交付任务,模拟具有脚本化利益相关者和可修改系统的生产环境。评估显示,在需发现未声明约束的真实设置中,最佳配置平均得分为 0.56,仅解决 14 项任务;即使获取所有关键事实,能实现高业务提升的任务也仅有 10 项。

    推荐理由:该基准通过模拟真实交付场景,揭示了模型在发现未声明约束时的性能瓶颈及从事实到有效解决方案的差距。

  2. Hugging Face Daily Papers82

    Learning Self-Orchestration in Decentralized Agent Swarms

    该论文介绍了一种名为市场基后训练(MPT)的框架,旨在解决现有多智能体系统训练中个体能力学习与集体行为组织分离的问题。通过让智能体以出价表达参与意愿并据此分配训练信用,该方法实现了动作策略与自编排行为的联合学习,无需中央协调器。

    推荐理由:提出市场基后训练框架,联合学习动作策略与去中心化自编排,在具身制造等任务上验证了群体适应性与鲁棒性提升。

  3. arXiv · 机器人与计算机视觉82

    LIMBO:一种用于敏捷且安全的全身控制的无模型障碍目标学习与内化框架

    arXiv 论文 LIMBO 提出了一种框架,通过从黑盒状态转移中学习状态 - 动作控制屏障函数,并将其安全结构蒸馏到任务策略中。该方法在冻结基控制器周围对残差动作进行基于剩余的安全证书合成,使 Q-CBF 合成在全控制维度上可行。实验在一个拥有 29 个自由度的类人机器人上进行了躲避球和跨越低障碍物的运动演示,展示了学习到的策略无需在线安全过滤即可直接迁移到硬件。

    推荐理由:该框架将安全证书蒸馏至任务策略,使学习到的安全合成可扩展到全身敏捷控制且无需在线安全过滤。

  4. arXiv · 机器人与计算机视觉80

    超越单轴测试:视觉语言动作策略的复合鲁棒性配对评估

    论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。

    推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。

  5. arXiv · 机器人与计算机视觉82

    空间条件化扩散策略:利用单目 RGB 相机学习精确且鲁棒的操纵

    针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。

    推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。