跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 31 页

10月20日周二第 601–620 条
  1. arXiv · 机器人与计算机视觉82

    RoboEdit:将人类操作视频转化为可扩展的机器人经验

    针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。

    推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。

  2. arXiv · 机器人与计算机视觉82

    TRACT:面向富接触操作的时序路由动作块与时间相位权威

    该研究针对机器人模仿学习中的时序相位错配问题,提出了 TRACT 方法,将相位结构化动作块分解为当前接受相位与未来视界内的单一边界。通过任务局部图约束时间相位权威,并引入因果响应赤字积分器处理接触执行中的补偿与恢复。

    推荐理由:论文提出 TRACT 方法解决机器人模仿学习中时序相位错配问题,在六款真实机器人上实现全序列成功与零停滞。

  3. arXiv · 机器人与计算机视觉82

    具身智能体接管控制:最小接口零样本代理媲美工业级策略

    论文研究了通用模型如何通过最小接口直接引导感知、行动、验证和自纠正的决策循环,提出‘具身代理控制’概念。研究评估了十四款前沿多模态模型在六个导航及问答基准上的表现,发现最佳代理在部分子集上超越已发表分数并接近人类测试者水平。

    推荐理由:该研究评估了十四款前沿多模态模型在导航与问答任务中的表现,发现最小接口代理能接近人类水平,但受限于身体感知与空间理解。

  4. arXiv · 机器人与计算机视觉78

    GROW$^2$: Grounding Which and Where for Robot Tool Use

    论文提出 GROW$^2$ 方法,利用物体部件作为自然抽象,将机器人工具使用的开放世界语义 grounding 分层为语义与几何两个层级:语义层借助 VLM 常识推理解析指令并选择合适工具及关键部位;几何层通过视觉基础模型从单张 RGB-D 图像定位精确的 3D 区域。

    推荐理由:该方法利用 VLM 语义推理与视觉基础模型的几何定位分层解决开放世界工具使用问题,在仿真与真实机器人实验中均优于基线。

  5. arXiv · 机器人与计算机视觉82

    GRAIL:基于世界模型生成人形机器人移动与操作策略

    GRAIL 是一种数字生成管线,通过结合 3D 资产和仿真就绪场景构建视频世界模型,无需重建物理环境即可合成交互数据。该方法利用已知的几何参数减少深度模糊,恢复度量级的人机物交互轨迹,并训练任务通用的跟踪器以适配人形机器人。仅使用 GRAIL 生成的数据,团队在 Unitree G1 上实现了多样化物体拾取 84% 的成功率和爬楼梯 90% 的成功率。

    推荐理由:GRAIL 利用全虚拟的数字生成管线合成人形机器人操作数据,在 Unitree G1 上实现了高成功率的任务部署。

  6. arXiv · 机器人与计算机视觉82

    Mono-Hydra++:基于多任务学习的单目实时三维室内场景图构建

    Mono-Hydra++ 是一种面向敏捷机器人的单目 RGB 加 IMU 流水线,用于室内度量 - 语义映射和分层三维场景图构建。系统结合 DINOv3 基的多任务模型 M2H-MX 与深度视觉惯性里程计前端,在 Go-SLAM ScanNet 子集上比最强 RGB-D 基线平均轨迹误差低 1.6%,在校准的 7-Scenes 数据集上将平均 ATE 提升 29.8%。

    推荐理由:该工作提出仅凭单目 RGB+IMU 实现实时三维场景图构建,在资源受限平台上替代深度传感器,代码与模型权重已开放。

  7. arXiv · 机器人与计算机视觉84

    Think before Go:面向图像目标导航的分层推理方法

    该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。

    推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。

  8. arXiv · 机器人与计算机视觉82

    因果场景叙述:用于视觉语言动作驾驶的推理时文本重构

    针对自动驾驶中视觉语言动作模型接收到的离散文本指令难以关联环境约束的问题,该研究提出了因果场景叙述方法,通过在推理阶段进行意图与约束对齐、量化 grounding 及结构化分离来优化输入。

    推荐理由:该研究提出在推理阶段重构 VLA 文本输入的方法,在多城镇 CARLA 测试中显著提升了路线完成率,并验证了其对感知噪声的鲁棒性。

  9. arXiv · 机器人与计算机视觉78

    并非所有特征都同等重要:VLA 模型的机理研究与 Action Atlas 平台发布

    该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

    推荐理由:该研究通过可解释性管线揭示了 VLA 模型对指令的绝对坐标绑定机制,并开放了包含 520+ SAEs 与 UR10e 遥操作数据的 Action Atlas 平台。

  10. arXiv · 机器人与计算机视觉78

    DeReCo:解耦表示与协调学习以实现对象自适应去中心化多机器人协同抓取与搬运

    针对多机器人协同抓取与搬运中对象依赖的表示学习与非平稳性下的协调学习耦合问题,论文提出 DeReCo 框架。该框架采用两阶段训练策略:先在特权信息下学习协调策略,再基于局部观测重构对象依赖表示并重新训练协调策略以实现去中心化执行。

    推荐理由:提出 DeReCo 框架解耦表示与协调学习,在仿真和真实机器人实验中验证了跨物体泛化能力。

  11. arXiv · 机器人与计算机视觉85

    ULTRA:面向人形机器人全身自主运动操作的统一多模态控制框架

    针对现有方法依赖预定义动作参考且难以扩展技能库的局限,该研究提出 ULTRA 统一框架。其核心包含物理驱动神经重定向算法,用于将大规模动捕数据迁移至人形机器人并保持接触交互的物理合理性;以及支持从精确动捕状态到嘈杂自中心视觉输入的通用多模态控制器。

    推荐理由:该工作提出 ULTRA 框架,通过物理驱动重定向与统一多模态控制器,实现从稀疏感知到全身自主 loco-manipulation。

  12. arXiv · 机器人与计算机视觉80

    在线世界建模实现真实世界的观察逆强化学习

    当前机器人学习受限于手工设计奖励、仿真建模或动作监督。本文提出首个仅凭任务观察(如视频)即可学习的逆强化学习方法 IRLfO,并展示了首个在真实世界中从零开始学习视觉操作及跨任务正迁移的演示。MPAIL2 模型在不到 40 分钟内从零基础学习到抓取放置任务达到 82% 成功率,而同等交互和演示预算下的强化学习与行为克隆方法分别仅达 0% 和 12%。

    推荐理由:该工作提出首个基于在线世界模型的视觉操作逆强化学习方法,在真实世界中实现从观察学习抓取放置任务。

  13. arXiv · 机器人与计算机视觉82

    KungfuAthleteBot:基于视频学习的具身智能高动态运动与统一鲁棒性恢复框架

    KungfuAthleteBot 是一个针对人形机器人的统一框架,旨在解决从视频学习高动态动作时存在的漂移、信息缺失及鲁棒性不足问题。该工作联合专业武术家构建了高质量数据集,引入物理引导的抛物线轨迹修正以消除高度漂移和抖动,并设计了三阶段课程学习策略。

    推荐理由:该工作提出统一框架,通过物理引导轨迹修正与免教师训练范式,实现了人形机器人从视频学习高动态动作及快速跌倒恢复。

  14. arXiv · 机器人与计算机视觉82

    BFM-Zero:一种用于人形机器人控制的基于无监督强化学习的可提示行为基础模型

    论文提出 BFM-Zero 框架,旨在统一人形机器人的多样化控制任务。该框架利用无监督强化学习和前向 - 后向(FB)模型构建共享隐空间,将动作、目标与奖励嵌入其中,支持在不重新训练的情况下通过提示进行下游任务适配。实验在宇树 G1 真机上进行,验证了其在零样本运动追踪、目标到达及奖励优化等任务上的有效性,并展示了从仿真到现实的迁移能力。

    推荐理由:提出 BFM-Zero 框架,利用无监督强化学习与前向 - 后向模型构建可提示的共享隐空间,在宇树 G1 真机上实现零样本运动追踪与目标到达。

  15. arXiv · 机器人与计算机视觉82

    PhantomTac:利用部署即忘标签劫持机器人触觉系统

    该研究发现了磁触觉传感器存在的物理漏洞 PhantomTac,攻击者仅需在物体表面粘贴厚度约 0.5 mm、无电池的磁性标签即可篡改力感知数据。实验表明,这种隐蔽的攻击能绕过现有抗干扰机制并劫持闭环控制流程,在抓取位置偏移小于 8 mm 时攻击成功率超过 95%,可导致捏碎或掉落物体。论文提出了多模态一致性防御机制以缓解此类物理层安全威胁,相关内容已接受于 ACM CCS 2026。

    推荐理由:研究揭示了磁触觉传感器的物理漏洞,提出了一种无需接触设备的隐蔽攻击方案及多模态一致性防御机制。

  16. arXiv · 机器人与计算机视觉84

    Self-Improving Video-to-Action Models:一种通过环境交互进行自我改进的视频到动作模型

    论文介绍 Mirror 方法,这是一种无需人工奖励或专家动作数据的自监督视频到动作映射方法。该方法通过在环境中尝试执行对视觉计划的猜测来学习,并利用生成的视频 - 动作对增量式自我改进,从而更紧密地跟随视觉规划器。

    推荐理由:提出无需人工奖励或专家动作数据的自监督视频到动作映射方法,在 Atari、Minecraft 等基准上实现超越现有观测学习方法的性能。

  17. arXiv · 机器人与计算机视觉80

    Physical Words:一种用于机器人操作中结构化潜在推理的词汇表

    该论文介绍 PhysWord 基础模型,利用原子动作动词作为共享语义锚点来组织连续物理动态表示。模型预测未来原子动作词并将上下文隐藏状态与来自未来观测的潜在目标对齐,构建具有视觉和可选触觉变体的时间结构化空间。

    推荐理由:提出基于原子动作动词的潜在推理框架,在视觉触觉任务中取得最先进成功率并支持长程操作。

  18. arXiv · 机器人与计算机视觉82

    LLM-as-policy 的物理递归自我改进能力来源:一项观测缩放律研究

    本文系统研究了物理递归自我改进(Physical RSI)的机制、缩放行为与泛化性,引入 PhysRSI-eval 通过首次尝试性能、效率、成功率、预算和失败后改进五个维度量化 VLM 在 18 个操作任务中的表现。

    推荐理由:该文提出物理递归自我改进观测缩放律,通过五轴指标量化 VLM 在操作任务中的表现与改进机制。

  19. arXiv · 机器人与计算机视觉84

    GPT-6 Astra:原生视觉 - 触觉策略用于富接触操作

    GPT-6 Astra 作为原生视觉 - 触觉策略,首次演示直接通过现有视觉接口解读基于图像的触觉观测并利用接触线索进行富接触操作控制。在十九个 UniVTAC 和 OpenViTac 仿真任务中,使用视觉 - 触觉输入的平均成功率分别为 93.8% 和 81.8%,分别超过最强专用基线 22.9 和 13.1 个百分点;仅视觉性能也达到 76.3% 和 80.6%。

    推荐理由:该工作首次演示 GPT-6 Astra 直接解读视觉触觉图像并在十九个仿真任务中实现闭环控制,成功率超最强基线。

  20. arXiv · 机器人与计算机视觉84

    PICA-WAM:通过跨外观自对齐实现视觉扰动不变性的世界动作模型研究

    论文指出世界动作模型(WAMs)在联合预测视频和生成动作时,对任务无关的视觉外观变化过于敏感。为此提出 PICA-WAM 框架,将扰动不变性建模为辅助的跨外观自对齐任务,利用 EMA 教师网络处理正常观测以提供深层目标,引导在线 WAM 的浅层动作表示与之对齐。

    推荐理由:针对世界动作模型对无关视觉扰动的敏感性,提出自监督框架 PICA-WAM 以提升鲁棒性。