跳到正文
10月24日周六
  1. IEEE Spectrum · Robotics78

    IEEE Spectrum 视频周五:四足机器人自主解决巨型魔方

    IEEE Spectrum Robotics 发布“视频周五”栏目,精选了包括 ETH Zurich 团队展示的四足机器人利用 Reflex 框架自主解决巨型魔方在内的多项具身智能成果。内容还涵盖了 KAIST 人形机器人的全身操控、生物混合机器人及 SuperMimic 等仿真加速技术,旨在呈现当前机器人在视觉反应与全身控制领域的最新进展。

    推荐理由:该视频合集展示了四足机器人自主解巨型魔方等全身操控能力,为评估具身智能在复杂动态任务中的进展提供了直观参考。

10月23日周五
  1. arXiv · 机器人与计算机视觉75

    V2-STRep:基于视觉语言模型的生成视频结构化任务表示用于可复用的机器人技能获取

    该论文提出 V2-STRep 零样本框架,将生成视频的单一运动转化为可复用的机器人技能。方法利用视觉语言模型提供 2D 图像线索并结合 RGB-D 观测重构 3D 几何与抓取位姿,通过几何规则迁移运动并耦合轨迹优化以适配关节限制。实验在六个真实操作任务上验证了该方法相比基线提升了执行成功率,实现了技能的跨场景可靠转移及对变更部署指令的自适应。

  2. arXiv · 机器人与计算机视觉65

    气动抓取的先验进化与任务对齐方法研究

    针对气动抓取中优化问题高度非凸且数值目标难以完全表征成功条件的局限,本文提出在解析规划器内引入学习机制。首先从优化后的运动中学习轨迹先验,并通过基于 CEM 的过程进行进化;其次设计执行感知批评器,利用接触、升力和完成结果评估轨迹成功率,其冻结能量可作为可微抓取成本直接塑造轨迹生成。仿真与真实世界实验表明该方法提升了优化的可靠性、轨迹一致性及抓取性能。

  3. arXiv · 机器人与计算机视觉72

    利用触觉感知学习大型物体的双臂协作灵巧抓取

    针对现有双臂协作抓取研究多局限于仿真且依赖完整3D物体模型的难题,该工作提出了一种包含多模态数据集、基于DDPM的关节级抓取配置生成模块及融合运动规划与在线优化的执行策略的真实世界框架。实验在双臂机器人上验证了该方法对未见几何形状和姿态物体的高成功率,消融研究确认了各组件贡献。材料已接受至2026年IEEE/RSJ IROS会议。

  4. arXiv · 机器人与计算机视觉87

    ReactiveBFM:面向通用类人机器人全身控制的反应式闭环运动规划

    针对现有行为基础模型仅能执行预定义动作且缺乏环境适应性的问题,论文提出 ReactiveBFM 实时闭环规划控制框架。该方法通过调度前缀采样课程缓解暴露偏差,使生成式规划器从不完美的物理状态中学习误差恢复;引入异步重规划机制解决自回归规划与高频跟踪的延迟失配,结合轨迹分块保证时空流畅执行。

    推荐理由:提出 ReactiveBFM 框架,通过前缀采样缓解暴露偏差并解决规划延迟问题,在 Unitree G1 上实现零样本移动目标抓取与高成功率闭环控制。

  5. arXiv · 机器人与计算机视觉72

    基于在线惯性估计与凸接触力优化的双臂箱体操作

    针对物体质量与质心未知的情况,该研究提出一种摩擦感知的双臂箱体操作框架。系统结合在线惯性估计模块(从接触力矩估算质量与质心)与凸接触力优化模块(在椭球摩擦约束下通过二阶锥规划计算可行接触力),并包含离线轨迹精炼阶段以减少非期望接触。实验表明,该方法能在不同质心配置下保持稳定的摩擦接触并完成物体提升。

  6. arXiv · 机器人与计算机视觉78

    HEX:面向跨具身全身操作的人体对齐专家

    HEX 是一个针对全尺寸双足人形机器人的状态中心化框架,旨在通过全身协同控制实现复杂操作。该模型引入人体对齐的通用状态表示以支持异构机身的可扩展学习,并采用混合专家统一本体感觉预测器来建模全身协调与时序运动动力学。

    推荐理由:提出 HEX 框架,利用人体对齐状态表示与专家混合预测器解决全尺寸双足机器人全身协调操作难题。

  7. arXiv · 机器人与计算机视觉62

    ThermoAct:面向机器人感知与决策的热感知视觉语言动作模型

    ThermoAct 是一个融合热成像信息的视觉语言动作(VLA)框架,利用视觉语言模型作为高层规划器来解析自然语言指令并分解为子任务。该系统旨在通过整合热数据增强对物理属性的感知与环境安全判断。材料基于真实世界任务场景的实验结果验证了该框架的可行性,表明其相比纯视觉方法在任务成功率和安全方面具有潜力。

  8. arXiv · 机器人与计算机视觉58

    多层压电聚合物致动器用于昆虫级软体机器人

    针对陶瓷致动器脆性大、应变低的局限,本文提出利用聚偏二氟乙烯(PVDF)作为合规替代材料,并展示了一种新型制造工艺以制造多层 PVDF 致动器。研究通过第一性原理模型与实验验证了力随层数线性或超线性增加而位移立方级下降的权衡关系,证明在堆叠中使用更薄层可提升比功率密度。

  9. arXiv · 机器人与计算机视觉12

    SandBot 在颗粒介质上的运动对堆积分数与肢体频率敏感依赖研究

    六足机器人 SandBot(2.3 kg)在 1 mm 罂粟籽床上奔跑时,标准步态参数速度仅为硬地水平的百分之一。通过经验调整控制参数,其最高速度恢复至 30 cm/s,且性能对堆积分数φ和肢体频率ω高度敏感。研究提出了旋转行走模式的运动学模型,揭示了从行走到慢速游泳的相变机制及颗粒介质物理理解的必要性。

  10. arXiv · 机器人与计算机视觉82

    OpenTac:一种用于可定制、可扩展且可迁移的3D触觉感知的开放生态系统

    论文介绍了OpenTac,这是一种新型传感器及其全栈生态系统,旨在支持高度定制化、可扩展且在下游机器人控制与学习中易于部署的触觉皮肤。核心贡献包括开发了一种具有结构化变形覆盖层的可扩展电阻式触觉皮肤,能将切向载荷转化为空间变化的压力;以及提供一款高度可定制的传感器设计工具,能从2D轮廓或抽象文本描述自动生成制造文件。

    推荐理由:作者开源了可定制触觉传感器的硬件、CAD设计工具及仿真生态,并展示了在多种机器人上的部署与性能提升。

  11. arXiv · 机器人与计算机视觉82

    基于注意力机制接触的类人机器人移动性研究

    该论文提出一种结合数据驱动运动先验与强化学习的混合框架,旨在解决类人机器人在复杂地形中的全身协调控制难题。核心方法包括一个自监督的、基于注意力的接触规划器用于预测未来身体与环境交互,以及一个接触条件化的跟踪器将计划转化为协调动作。

    推荐理由:提出利用运动数据作为训练先验的强化学习框架,通过自监督接触规划器与跟踪器实现人形机器人在复杂地形的稳健移动。

  12. arXiv · 机器人与计算机视觉84

    FocusVLA:面向视觉语言动作模型的意图引导动态视图路由方法

    针对现有视觉语言动作模型过度依赖腕部视角、缺乏跨任务阶段全局与局部观察自适应协调的问题,论文提出 FocusVLA 框架。该方法通过历史动作预测未来交互意图并指导动态视图路由,在不修改核心架构的前提下适配现有 VLA 系统。

    推荐理由:提出 FocusVLA 框架,利用未来意图引导动态视图路由,在 RoboTwin 2.0 及真实场景中显著提升 VLA 模型成功率。

  13. arXiv · 机器人与计算机视觉83

    概率能量建模统一了多样化的群体控制

    arXiv 发布了一篇关于机器人集群控制的预印本论文,提出利用概率能量建模作为统一表示来协调多样化任务。该方法将基本群体行为编码为可复用的能量项,通过轻量级策略门控组合去中心化策略而无需重新训练。实验在无人机集群上验证了该框架在六个任务类别、10 至 100 个智能体以及两种硬件平台上的零样本泛化能力,仿真成功率达 96% 至 100%,且物理部署证实了对真实平台和无序环境的迁移效果。

    推荐理由:该预印本提出概率能量建模统一框架,支持多任务零样本迁移与跨平台部署。

  14. arXiv · 机器人与计算机视觉75

    GelSlim 5.0:用单个指尖摄像头统一视觉与触觉感知

    该论文介绍 GelSlim 5.0 指尖传感器,它利用固定摄像头和连续紫外响应接触层,通过切换光照在同一视点获取穿透膜层的视觉图像和接触敏感的触觉图像。系统引入 VisTacFusion 多模态 Transformer,结合不对称瓶颈融合与模态丢弃机制,在真实数据上验证了配对输入相比纯触觉或纯视觉推理能显著降低深度均方误差、角度误差和平移 L1 误差。

  15. arXiv · 机器人与计算机视觉78

    基于全身运动引导的不确定性感知顺从性辅助参考生成方法

    该论文针对外骨骼在复杂交互中难以可靠提供辅助的问题,提出一种结合多模态轨迹生成与可变导纳控制的双环策略。系统利用全身人类运动和外骨骼本体感知数据,通过去噪过程合成未来轨迹,并将任务描述作为语义线索。

    推荐理由:该预印本提出结合全身运动与本体感知的双环辅助策略,通过轨迹方差量化不确定性以调节刚度,实验显示能降低肌肉激活与代谢能耗。

  16. arXiv · 机器人与计算机视觉72

    PiHand:面向物理策略学习的潜在手物交互先验框架

    论文介绍 PiHand 框架,通过训练专家策略蒸馏出统一的手物交互先验,并在潜在空间进行有界残差探索以解决灵巧操作任务。该方法在 GRAB 和 DexYCB 数据集上实现了跨物体与轨迹的泛化,并能迁移至抓取和双手交接等未见过的任务,且各项指标均优于基线。作者将发布处理后的数据与模型检查点。

  17. arXiv · 机器人与计算机视觉59

    AstroBench:面向空间机器人自由浮动抓取的基准测试与开放数据集发布

    AstroBench 是一个针对固定基座机械臂在太空舱内进行自由浮动物体抓取与操作任务的开源基准。该基准整合了基于 MELFI 硬件的样本存储任务和基于 Robotic Refueling Mission 的加注服务任务,提供九个任务定义及 29 种目标组合,并包含经过元数据过滤的 Objaverse 资产库(8,414 个实例)和五种舱内视觉上下文。

  18. arXiv · 机器人与计算机视觉38

    MPRF 模型通过多模态残差融合预测机器人内镜导航中的操作员撤退行为

    MPRF 因果模型结合电磁追踪与内窥镜视频,在 150 例结肠假人实验中实现 0.580±0.007 AUPRC,优于最强降维基线。完整多模态历史提供主要排序优势,残差项为原始融合带来小幅不确定的增量提升。该研究为操作员控制下的导航行为辅助奠定基础。

  19. arXiv · 机器人与计算机视觉72

    基于演示的机器人喂食:融合动态运动原语的框架

    该论文提出一种基于人类演示的机器人喂食框架,整合了动态运动原语(DMP)的运动规划、基于视觉的场景感知及机器人控制。系统通过动捕记录勺子舀取与投喂轨迹并编码为独立 DMP,利用 RGB-D 相机估计嘴部位置,结合 AprilTag 进行机械臂标定与托盘定位。实验在真实场景中验证了 Kinova Gen3 机械臂执行该集成流程的可行性,证明学习到的勺子动作可在检测到的实验场景中被复现。

  20. arXiv · 机器人与计算机视觉66

    基于大语言模型主动任务生成的自适应空中机臂协同策略学习

    论文提出了 ALMA 框架,旨在解决空中平台在机臂交互下质心变化导致的控制难题。该方法利用上下文飞行策略结合动作条件预测来保留历史响应信息,并引入进化过程通过大语言模型分析控制困难以生成新的机臂运动结构进行训练。实验表明,该策略在仿真中将位置均方根误差降低了 24.7%,并能零样本迁移到真实空中机械臂,使周期性机臂运动下的悬停位置误差降低 79.6%。

  21. arXiv · 机器人与计算机视觉72

    SmolVLA-MoE:用于高效多任务机器人操作的稀疏混合专家模型

    针对现有轻量级 VLA 模型在受限算力下多任务能力不足的问题,该研究提出 SmolVLA-MoE 框架,将稀疏混合专家结构引入动作专家的 FFN 层。通过共享专家与可调节权重平衡预训练能力继承与任务特异性专长,推理时仅激活单个专家 FFN(总激活参数约 500M),同时存储约 800M 参数。

  22. arXiv · 机器人与计算机视觉45

    Live Thread Reconstruction for Autonomous Manipulation 实现手术缝合中的实时线体重建与自主操作

    该研究提出一种图像到操作的管道,在机器人手术中同步生成变形缝线的实时三维重建并执行安全优化的连续操作。针对无固定位姿且自由度无限的柔性线体,该方法通过持续追踪接触点解决了构型预测难题。论文提交于 arXiv,旨在缓解外科医生在长时间缝合任务中的时间与精神负担。

  23. arXiv · 机器人与计算机视觉78

    GlobMP:一种具有全局收敛性的连续时间运动规划与转向方法

    论文提出了 GlobMP(Global Motion Planning)算法,这是一种基于梯度投影的连续时间规划方法,旨在同时满足避障约束和保持轨迹接近学习策略提出的初始路径。

    推荐理由:提出 GlobMP 算法,在连续时间框架下解决多机器人避障与轨迹平滑优化问题。

  24. arXiv · 机器人与计算机视觉75

    Motion Retargeting with Spatiotemporal Preferences for Humanoid Loco-Manipulation

    该研究提出一种名为 STR 的方法,利用时空偏好将人类演示转化为全身控制与操作轨迹。通过视觉语言模型选择关键信号与身体部位,并在关键帧分配额外求解迭代次数及更高交互权重,同时引入力学感知接触锚定优化物体表面接触位置。

  25. arXiv · 机器人与计算机视觉35

    《触觉驱动机器人操作:从力学到数据视角》综述论文发布

    该综述回顾了触觉感知在灵巧操作中的发展,涵盖力学驱动的接触信号解释与数据驱动的模仿学习、强化学习及视觉语言动作模型等进展。文章分析了从基础传感原理到未来可扩展系统的开放挑战,共 30 页,为构建鲁棒机器人系统提供理论参考。

  26. arXiv · 机器人与计算机视觉58

    EgoHand:基于自摄视频的单体 3D 手部重建模型

    论文介绍 EgoHand,一个针对自摄视频的单体 3D 手部重建模型。该方法构建了包含合成数据、真实视频和多相机动捕的高质量训练语料(1400 万图像),采用 SOMA-Hand 参数化表示并结合 Transformer 编码器处理 2D 手部裁剪,引入相机线索与辅助分支以提升几何一致性与对齐效果。

  27. Hugging Face Daily Papers58

    HoloBoxing:一种仅需单卡七分钟训练的类人机器人拳击方案

    HoloBoxing 提出了一种利用预训练全身控制器学习类人机器人拳击的简单配方。该方法将可复用的运动技能与任务决策分离,由紧凑规划器请求目标点,冻结控制器处理关节执行,并通过模仿初始化与强化学习结合优化交互行为。实验表明,在复用表示拟合和单卡任务运行的基础上,仅需约七分钟额外训练即可实现模拟拳击实验中的行为评估,无需重新学习全身控制。