跳到正文

技术方向

具身智能 最新动态

机器人模型、硬件、学习方法和真实部署;区分仿真、遥操作演示与自主运行。

1,139 条精选近 30 天 643 条共收录 4,549 条

更新

精选归档 · 第 49 页

10月6日周二第 961–980 条
  1. arXiv · 机器人与计算机视觉85

    通过预测不确定性触发通用主义推理的双系统 VLA 方法

    针对双系统视觉语言动作模型中通用推理模块固定频率调用的静态策略浪费计算资源的问题,提出 TUD 自适应推理框架。该方法利用缓存上下文下的动作重预测跨步离散度作为预测不确定性信号,无需人工标注或辅助模型即可动态跳过不必要的通用调用。在 VLA-Arena 基准测试及真实机器人实验中,TUD 在匹配调用预算下实现了更高的成功率,并将通用模型调用次数减少了 75%,同时有效分离成功与失败的轨迹。

    推荐理由:提出基于预测不确定性的自适应推理框架,在保持低开销的同时显著降低通用模型调用次数并提升成功率。

  2. arXiv · 机器人与计算机视觉78

    水下六自由度 ROV 管道跟踪的强化学习与经典控制统一动力学框架

    针对水下车辆控制器训练环境与部署环境物理表示不一致导致性能无法外推的问题,本文提出了一种统一的动力学框架。该框架在 NVIDIA Isaac Sim 中为六自由度遥操作车(ROV)构建了包含真实质量、附加质量、阻尼和浮力参数的管道跟踪架构。

    推荐理由:该工作提出了一套统一的动力学框架,在 Isaac Sim 中同时验证了强化学习与经典控制算法在水下管道跟踪任务上的表现与稳定性。

  3. arXiv · 机器人与计算机视觉78

    DiVeR:面向 VLA 测试时扩展的决策关键验证器学习

    论文提出 DiVeR 方法,旨在解决视觉语言动作(VLA)模型因数据成本受限而难以进一步扩展的问题。该方法通过采样多个动作候选并基于动作表征的离散度估计决策关键性,从而在推理阶段重新加权验证器学习,聚焦于对下游结果影响最大的稀疏状态集合。

    推荐理由:提出 DiVeR 方法,利用动作表征离散度识别决策关键状态以优化验证器训练,在 LIBERO、RoboCasa 及 Franka 机器人实验中提升任务成功率。

  4. arXiv · 机器人与计算机视觉82

    $R^2$-WAM:面向世界动作模型的修复与拒绝后训练方法

    针对世界动作模型(WAMs)预测结果可能与输入动作不一致的问题,本文提出$R^2$-WAM框架。该方法包含两阶段:首先利用运动学对齐分数将预测视频与机器人演示行为进行运动学对齐,确保预测未来忠实反映输入动作;随后比较采样动作与演示动作的想象结果,对任务进度低于参考基准的样本应用负向微调。

    推荐理由:提出$R^2$-WAM框架,通过运动学对齐修复预测视频并拒绝低质量样本进行负向微调,在RoboTwin 2.0上平均成功率达93.8%。

  5. arXiv · 机器人与计算机视觉78

    GJK-CBF:基于 GJK 算法的凸刚体 SE(3) 空间碰撞规避控制屏障函数

    针对凸刚体避障问题,现有方法常依赖微分优化计算梯度带来开销。本文提出 GJK-CBF,利用 Gilbert-Johnson-Keerthi 算法获取见证点对并直接构建梯度,无需微分优化。该方法适用于 2D 和 3D 环境中的各类凸刚体对(至少一方严格凸),已在多机器人位置交换、三维垂直狭缝导航及机械臂操作等场景验证,实现了无碰撞运动并降低了几何近似带来的保守性。

    推荐理由:提出 GJK-CBF 方法,利用 GJK 算法直接构建凸刚体避障控制屏障函数梯度,避免微分优化开销,在 2D/3D 多场景验证了无碰撞运动。

  6. arXiv · 机器人与计算机视觉78

    PatternDex:通过学习交互模式引导双臂灵巧操作铰链物体的强化学习方法

    论文提出 PatternDex 方法,旨在解决双臂灵巧手操作铰链物体时的具身差距问题。该方法观察到手与物体运动的相关性由物体决定而非手部,可从人类演示中学习并表示为交互模式序列。

    推荐理由:提出 PatternDex 方法,通过从人类演示学习手与物体运动的相关性(交互模式),引导强化学习策略实现双手动灵巧操作,在 Allegro 手上平均成功率达 92.8%。

  7. arXiv · 机器人与计算机视觉78

    DNPush:一种无需通信的多机器人系统分布式非平行推力控制器

    arXiv 论文提出了 DNPush,这是一种用于多机器人协作搬运物体的分布式非平行推力控制器。该方法无需机器人间通信或物体模型、质心估计等在线信息,仅利用局部力测量和预设权重即可调节非平行力大小。

    推荐理由:该工作提出无需通信的分布式推控方法,通过局部力测量实现多机器人协同搬运,仿真与硬件实验验证了收敛性与方向误差。

  8. arXiv · 机器人与计算机视觉80

    少说假话,多说大话:LLM 机器人团队的隐蔽内部攻击研究

    当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。

    推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。

  9. arXiv · 机器人与计算机视觉82

    基于视觉预测力的机器人学习

    本文提出一种无需专用力或触觉传感器的机器人操作方法,通过训练视觉力估计器从合规 Fin Ray 夹爪的形变中预测作用力,并联合生成动作与力的候选方案以指导推理时的动作选择。该方法在浆果采摘、空罐抓取、手内重定向和插头插入等任务上进行了评估,展示了视觉预测力引导接触密集型操作的能力。材料为预印本论文,未报告真实机器人部署结果或量产状态。

    推荐理由:该工作提出利用柔性夹爪形变进行视觉力预测,从而在无触觉传感器条件下实现接触密集型任务的操作策略选择。

  10. arXiv · 机器人与计算机视觉84

    RoboIRS:一种用于通用机器人策略的推理时内部表征引导方法

    针对视觉语言动作(VLA)和世界动作(WAM)模型在分布外任务中表现下降的问题,本文提出 RoboIRS 方法,利用成功与失败的执行轨迹训练线性分类器以选择干预位置并推导特定任务的引导方向,无需更新策略参数。

    推荐理由:提出无需更新策略参数的推理时内部表征引导方法,在冻结策略下将仿真成功率从 44.4% 提升至 66.2%,并在真实机器人与世界模型上验证有效。

  11. arXiv · 机器人与计算机视觉78

    利用分层控制器结构进行上下文参数学习以优化人形机器人大型操作

    论文提出一种针对分层控制系统的上下文贝叶斯优化框架,用于联合学习不同层级控制器的参数。该方法通过相关多输出高斯过程分别建模任务性能、实现质量和控制努力,并分析其聚合关系,利用分层控制的互补特性进行优化。研究在人形机器人变质量推箱子任务中,联合调优了质心预测控制器和全身控制器,结果显示该方法在训练和适应阶段均取得了最低的均值经验后悔度。

    推荐理由:提出基于上下文贝叶斯优化的分层控制器联合参数学习方法,在变质量推箱子任务中实现最低经验后悔度。

  12. arXiv · 机器人与计算机视觉78

    Frozen in a Frame:JEPA 世界模型的视盲点与修复方案

    论文指出联合嵌入预测架构(JEPAs)因仅基于无运动模糊的单帧渲染,导致其嵌入无法携带速度信息,从而形成结构性缺陷。研究在四个真实基准测试中证实了线性速度探测效果低于随机猜测,而位置探测表现良好。

    推荐理由:该研究揭示了 JEPA 架构因单帧渲染缺失速度信息的结构性缺陷,并提出轻量级解耦方案在物理环境中显著提升规划性能。

  13. arXiv · 机器人与计算机视觉82

    DreamFormer:一种用于语言条件化机器人操作的 Transformer 世界模型模仿方法

    论文介绍 DreamFormer,这是一种通过模仿专家演示来习得语言条件化多任务技能的基于模型的智能体。该模型首先从无结构的玩耍数据中学习任务无关的 Transformer 世界模型,然后在潜在空间中优化内在奖励以对齐生成的轨迹与专家演示。

    推荐理由:该工作提出基于 Transformer 的世界模型进行语言条件化机器人操作模仿,在 CALVIN 基准上展示了优于行为克隆的零样本泛化能力。

  14. arXiv · 机器人与计算机视觉78

    Reachability-Guided Sequential Quadratic Programming-Guarded Model Predictive Path Integral for Safe Nonlinear Predictive Control

    论文提出 ReSQ-MPPI 方法,通过离线计算的 HJR 价值函数引导在线 MPPI 采样,并利用 SQP 迭代对全阶 MPC 问题进行修正以保障安全。仿真在杂乱导航和自动驾驶赛车环境中验证了该方法优于独立 MPPI、MPC 及可达性过滤基线。

    推荐理由:提出 ReSQ-MPPI 架构,结合离线可达性价值函数与在线 SQP 修正,在仿真中提升安全与性能。

  15. arXiv · 机器人与计算机视觉82

    AgenticTactileVLA:无需重训即可实现通用灵巧操作的接触引导执行时间监督方法

    该预印本提出 AgenticTactileVLA,作为固定视觉语言动作模型(VLA)的执行时间监督器,利用手指位置和电机力反馈进行接触引导的自适应调整。该方法在 Unitree G1 机器人配合 BrainCo Revo2 手部执行任务时,针对未见物体实现了从基线 VLA 61.3% 到监督器 84.0% 的任务完成率提升,且无需触觉传感器或模型重训。

    推荐理由:该预印本提出无需重训 VLA 的接触引导执行监督方案,在 Unitree G1 上验证了针对未见物体的泛化提升与修正触发机制。

  16. arXiv · 机器人与计算机视觉82

    面向欠冗余人形机械臂的实时 conformal-seeded 混合逆运动学方法

    该论文针对具有偏移结构的欠冗余 7-DoF 人形机械臂,提出了一种结合解析近似与数值精修的混合逆运动学框架。该方法首先利用近似解析模型枚举有限候选解,再通过轻量级学习预测器结合 split-conformal 预测对候选解进行难度排序并选出最佳种子,最后使用 Levenberg-Marquardt 求解器在完整运动学模型上进行高精度修正。

    推荐理由:提出一种结合解析近似与数值精修的混合逆运动学框架,利用校准的种子选择实现实时高精度求解。

  17. arXiv · 机器人与计算机视觉83

    ROOT:发现用户指定具身行为的奖励函数

    ROOT 是一种用于发现奖励函数的框架,旨在使学习策略与用户指定的具身行为对齐。该方法将奖励设计转化为对持久实验树的观察引导搜索,利用视频语言模型提炼的行为洞察来诊断失败并指导奖励优化。

    推荐理由:ROOT 框架通过可观测树搜索与视频语言模型诊断,解决了 LLM 生成奖励函数难以捕捉细微行为属性的问题。

  18. arXiv · 机器人与计算机视觉82

    Continual Humanoid Motion Learning:一种防止灾难性遗忘的渐进式神经网络策略

    针对人形机器人全身控制器在线学习新技能易导致旧技能遗忘的问题,研究提出 Similarity-guided LoRA-PNN 方法。该方法通过动态时间规整聚合的最优传输构建两级运动相似性度量,自动决定基于何种先验技能及分配多少新容量,从而在无需重访历史数据的情况下实现强正向迁移与高平均准确率。

    推荐理由:提出利用动态时间规整与最优传输构建相似性引导策略,在六个连续技能类别中实现最佳正向迁移并节省 94.5% 可训练参数。

  19. arXiv · 机器人与计算机视觉85

    PhysMamba:一种基于选择性状态空间模型的肢体模拟器

    该论文介绍了 PhysMamba,这是首个基于选择性状态空间模型(SSM)的肢体模拟器,能够仅凭位置、旋转和关节动作历史预测下一帧全身状态,无需速度输入。研究对比了四种架构及三种训练协议,发现从头开始的 rollout 训练在部分观测下为 Mamba2 提供了优异的短中期精度(s10=43mm),而两阶段教师模型方案则导致其不稳定。

    推荐理由:论文提出首个基于选择性状态空间模型的肢体模拟器,在部分观测下表现优异且具备低延迟推理能力。

  20. arXiv · 机器人与计算机视觉85

    SUAVE:一种基于掩码扩散的统一视频动作模型

    论文 SUAVE 提出了一种名为 SUAVE 的单词汇统一动作 - 视频模型,利用掩码扩散 Transformer 同时处理语言、视频和动作模态,并将三者表示为共享序列中的离散 token。

    推荐理由:SUAVE 提出基于掩码扩散的统一架构,在单一网络中通过推理时的掩码选择实现世界建模、策略生成与视频预测的切换。