跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 8 页

11月10日周二第 141–160 条
  1. arXiv · 机器人与计算机视觉82

    超越拓扑:用于运动策略学习的形态对称图表示

    论文提出一种形态对称图表示方法(MS-PPO/MS-SAC),将机器人拓扑图与形态对称性诱导的置换及符号变化显式结合,构建等变动作均值与不变评论家网络。该方法在宇树 Go2 和 G1 上实现了最低的跟踪误差、最高的仿真回报以及零样本仿真到现实部署能力,且参数量显著减少。

    推荐理由:提出形态对称图表示方法,在宇树 Go2 和 G1 上实现更低跟踪误差与最高仿真回报,且参数量显著减少。

  2. arXiv · 机器人与计算机视觉78

    SCALE:基于 LLM 引导的经验内化与小模型优先的概念抽象框架

    论文提出 SCALE 框架,旨在让轻量级自主智能体在不依赖昂贵大语言模型推理的情况下持续获取可复用知识。该架构由小模型处理常规预测,仅在预测错误或积累跨回合证据时触发 LLM 进行反思;LLM 分析历史经验并生成反事实示例以提出可复用的概念假设。

    推荐理由:SCALE 框架通过小模型处理常规任务、LLM 仅在误差时介入反思,实现了经验知识的紧凑内化与层级抽象。

  3. arXiv · 机器人与计算机视觉78

    基于 Transformer 的无需显式状态估计的可泛化输出反馈最优控制

    该研究提出一种基于 Transformer 的策略,用于解决部分观测且含噪声的多输入多输出线性时不变系统族的通用控制问题。策略通过共享表示与编码技术,仅需短时噪声测量即可生成控制动作,无需植物矩阵或状态估计器。

    推荐理由:论文提出利用 Transformer 实现无需显式状态估计的通用输出反馈最优控制,在仿真系统中达到接近 LQG 的最优成本。

  4. arXiv · 机器人与计算机视觉78

    基于情境变量的主动式社交机器人对话发起方法

    针对现有大语言模型在主动发起对话时缺乏情境感知的问题,本文提出了一套联合表征感知、情境和交互线索的情境变量架构,并构建了覆盖多样化日常场景的主动式对话开启语料数据集(CCO)。通过利用该数据集微调小语言模型(SLMs),研究展示了显式的情境结构化与针对性数据策展能显著提升对话发起的质量与时机恰当性。

    推荐理由:提出情境变量架构与专用数据集,微调小模型显著改善主动对话发起的质量与时机。

  5. arXiv · 机器人与计算机视觉78

    World In-Context Learning for Agentic Robot Manipulation

    针对传统训练策略与学习分布耦合的问题,本文提出 World In-Context Learning (WICL) 范式,利用冻结模型在仿真环境中对任务进行排练并将反馈写入上下文而非权重。

    推荐理由:提出将反馈写入上下文而非权重的范式,在仿真中通过排练实现跨场景泛化。

  6. arXiv · 机器人与计算机视觉78

    自然语言机器人车队控制的类型化计划正确性边界研究

    该论文考察了在自然语言机器人车队控制中,计划验证和执行报告所确立的内容。研究基于包含 20 个模拟机器人的三层 ROS2 实现,对 44 个离线基准案例进行了检查,发现无响应模式配置下 70.0%-87.3% 的响应通过测试。

    推荐理由:该预印本通过 ROS2 仿真验证了自然语言指令在机器人车队控制中的正确性边界,揭示了执行报告与原始任务要求不一致的潜在风险。

  7. arXiv · 机器人与计算机视觉78

    面向语言条件双手动操作的执行感知任务规划方法

    论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。

    推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。

  8. arXiv · 机器人与计算机视觉78

    PCTac:用于灵巧操作的机械变色光子晶体触觉传感器

    现代视觉 - 触觉传感器通常通过成像柔性界面变形来感知接触,但力相关信息仍需间接推断。本文提出 PCTac,一种开源的机械变色光子晶体指尖传感器,利用局部应力直接转化为空间分辨的结构色场作为触觉观测。

    推荐理由:该研究提出基于机械变色光子晶体的触觉传感器,在真实机器人操作中显著优于传统 RGB 与纯视觉基线。

  9. arXiv · 机器人与计算机视觉78

    UniOMA:一种用于机器人感知的统一最优传输多模态结构对齐方法

    针对机器人学习中多模态表征难以实现通用且良好对齐的挑战,本文提出 UniOMA 方法,通过引入几何感知的 Gromov-Wasserstein (GW) 距离正则化来增强现有的对比损失。

    推荐理由:提出结合几何感知的 Gromov-Wasserstein 距离正则化,解决多模态表征结构对齐难题。

  10. arXiv · 机器人与计算机视觉78

    Be My Eye:超越机器人自身视角的感知与协作方法

    针对多机器人协作中个体观测不足的问题,论文提出一种面向任务的主动上下文共享框架,将原始观测转化为紧凑表示以保留关键信息。该方法分两阶段训练:首先联合编码车载观测与任务指令生成紧凑上下文;其次将其集成到预训练的视觉语言动作策略中实现双向交互。实验显示在受限通信条件下性能显著提升,并在复杂双机器人真实场景中验证了有效性。

    推荐理由:提出面向任务的主动上下文共享框架,在受限通信预算下提升双机器人协作任务性能。

  11. arXiv · 机器人与计算机视觉78

    GAP:一种用于灵巧钢琴演奏的通用化适应先验框架

    针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。

    推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。

  12. arXiv · 机器人与计算机视觉78

    Compass 1:面向开放世界与持久化具身导航的单目 RGB 视频模型

    Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。

    推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。

  13. arXiv · 机器人与计算机视觉82

    BetaGrasp:基于抓取分类标签的攀岩握点灵巧抓取策略

    论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。

    推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。

  14. arXiv · 机器人与计算机视觉82

    CSG-Nav:面向鲁棒探索与零样本目标导航的置信度感知语义几何融合方法

    论文提出 CSG-Nav 框架,通过整合开放词汇检测、深度定位与多视图证据加权,解决长程感知不可靠及幻觉偏差问题。在 HM3Dv1/v2 和 MP3D 数据集上实现零样本导航成功率分别为 58.9%、71.6% 和 44.3%,并在室内外真实环境完成部署验证。代码已开源。

    推荐理由:提出基于置信度的语义几何融合框架,在 HM3D 等数据集实现零样本导航新 SOTA,代码已开源。

  15. arXiv · 机器人与计算机视觉78

    Flip Anything with Agentic Robotics Self-Learning

    该研究提出利用代理在物理仿真中进行自学习以掌握翻动物体的基础操作技能。通过迭代学习,系统逐步习得手递手、推倒、抓取感知及薄物体操控等子技能,将任务成功率从 24.7% 提升至 95.0%。最终生成的基于图形的代码集成了高层策略选择与反应式控制,已验证可在实体机器人上实现多阶段翻动物体操作。

    推荐理由:论文展示代理在物理仿真中自主习得翻动物体技能,成功率从 24.7% 提升至 95%,并生成可迁移到实体机器人的代码。

  16. arXiv · 机器人与计算机视觉78

    Fade to... Red? 调度彩色噪声支持高效且低抖动的机器人学习

    针对连续控制中的探索问题,本文系统研究了从白噪声到红噪声的线性调度策略及其对 Fetch 机械臂和 Shadow Dexterous Hand 在稀疏奖励操作任务上的影响。研究发现,训练结束时的噪声颜色不影响最终性能,但向红噪声过渡可将所有任务的探索动作抖动减半。研究建议将向红噪声过渡的调度器作为离线机器人学习的默认配置,以平衡学习效率、最终表现与运动平滑度。

    推荐理由:研究证实训练后期向红噪声过渡的策略,在保持学习效率的同时显著降低动作抖动,可作为离线强化学习的默认探索方案。

  17. arXiv · 机器人与计算机视觉82

    DASH:面向人形机器人灵巧操作的延迟无关视觉语言动作模型扩展

    论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。

    推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。

  18. arXiv · 机器人与计算机视觉78

    何时信任适配:用于可迁移视觉语言提示的上下文融合

    针对视觉语言模型在新类别或领域上的适配问题,该方法通过保留冻结与提示后的四分支预测,结合局部置信度与集合频率偏差进行仲裁。在 ImageNet 上训练后,其在十个跨数据集基准的平均准确率达 69.96%,刷新 ImageNet-S 记录至 52.21%,并在基类到新类的迁移任务中达到 79.77% 的新类别准确率。代码已公开。

    推荐理由:提出上下文自适应融合方法,在跨数据集基准上超越现有提示微调技术并刷新 ImageNet-S 记录。

  19. arXiv · 机器人与计算机视觉78

    PAIR:一种基于本体感知对齐的图像射线表示方法,用于提升操作任务的视角鲁棒性

    针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。

    推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。