跳到正文
10月27日周二
  1. arXiv · 机器人与计算机视觉42

    高分辨率触觉观测使隐蔽的球拍控制机制变得可学习

    研究利用搭载 864 个节点、100-Hz 采集频率的触觉惯性手套,记录了超 70 名参与者跨越五项技能的 1.4 万次羽毛球挥拍数据。提出的力学 grounded 双层框架从触觉历史推断出物体驱动与抓握稳定控制机制,发现高熟练度对应选择性而非广泛性控制。在随机分组的实验中,机制引导的学习者技能提升达 0.72 专家评分等级,显著优于仅反馈水平的 0.05,证实了控制机制的可操作性。

  2. arXiv · 机器人与计算机视觉38

    非线性气动机械臂控制:arXiv 预印本对比阻抗与自适应滑模控制器

    该研究提出两种针对搭载双自由度机械臂的四旋翼飞行器的控制器,用于在存在有界扰动时完成悬停任务。论文开发了完整动力学模型,并在相同初始条件和期望位置下对比了笛卡尔阻抗控制与自适应滑模控制的性能。目前该文为 arXiv 预印本(arXiv:2610.34454),包含 9 幅图和 2 个表格,尚未进入同行评审或正式出版阶段。

  3. arXiv · 机器人与计算机视觉85

    Pretraining Knows What, Simulation Teaches How: Compositional Generalization for Agentic Robotics

    论文介绍 Zero-real Agent Policy (ZAP) 方法,利用预训练的 27B 参数模型进行世界理解推理,再通过仿真任务监督微调与 GRPO 训练运动策略。该方法无需真实机器人数据即可在现实任务中达到 96.7% 成功率,并展现出对新物体、目标及未见物理形态的泛化能力。

    推荐理由:提出 ZAP 方法,利用预训练大模型理解任务并通过仿真学习运动策略,在无真实数据训练下实现高成功率与强泛化。

  4. arXiv · 机器人与计算机视觉78

    面向精确抓取的机器人对齐3D高斯泼溅与腕部相机VLA策略研究

    针对电子垃圾拆解等复杂场景中视觉语言动作(VLA)策略学习的数据收集瓶颈及数字孪生建模困难,本文提出基于3D高斯泼溅(3DGS)的腕部相机数据生成管线。该方法通过重建真实工作空间并渲染机器人对齐姿态下的观测,配合平滑结构化的到达轨迹,为VLA微调提供机器人对齐的视觉 - 动作监督;同时引入指令条件到达验证器以估计目标接近度并提供可靠的物理交互前终止。

    推荐理由:针对电子垃圾拆解等复杂场景,提出基于3D高斯泼溅的腕部相机数据生成管线与指令条件到达验证器,在仅需少量遥操作演示下实现高精度抓取。

  5. arXiv · 机器人与计算机视觉43

    DEX-PHD:一款用于多模态灵巧操作数据收集的便携手持设备

    DEX-PHD 是一款结合灵巧机械手、连续指级控制与多模态日志的便携手持设备,支持无缆环境下采集本体感知、指尖接触及腕部摄像头视频。该系统通过关节级映射实现直接操控,并在物理人形机器人上以开环回放方式演示了富接触任务数据的有效性,证实能保留手指运动时序模式与关键接触特征。

  6. arXiv · 机器人与计算机视觉74

    RoKON:面向机器人操作的自适应数据驱动预测控制

    该研究提出 RoKON 框架,利用非线性高斯核构建输入输出关系并引入阻尼 Gauss-Newton 方法以实现实时控制。通过混合缓冲策略融合在线信息与离线数据以应对动力学变化。实验在 MuJoCo 仿真中验证了该方法在无先验摩擦知识条件下,对 Franka Research 3 机械臂推方块任务的跟踪性能与计算效率。

  7. arXiv · 机器人与计算机视觉78

    VisGeo-PipeTrack:一种用于无人机动态管道跟踪的视觉几何伺服控制框架

    针对无人机在工业环境中对动态移动管道(如振动)的跟踪难题,本文提出 VisGeo-PipeTrack 伺服控制框架。该框架利用 YOLOv5 检测管道标签并结合视觉几何约束实现精准定位,同时设计基于模型预测控制的实时修正自适应 PID(MPC-RCAPID)控制器以应对跟踪挑战。

    推荐理由:提出 VisGeo-PipeTrack 框架,结合视觉几何约束与 MPC-RCAPID 控制器实现无人机对动态管道的自主跟踪。

  8. arXiv · 机器人与计算机视觉53

    变形语言:作为可变形物体灵巧操作前提的语义失效分析

    针对刚性物体操作已成熟而可变形物体(如线缆、塑料片、布料)操作仍极具挑战的现状,本文提出将语义失效分析作为迈向成熟的关键步骤。不同于刚性物体的力平衡与打滑等明确目标,可变形物体涉及屈曲、塑性变形、压力变化及撕裂等多种复杂失效模式。文章定义了该方法的组件与挑战,并通过概念验证实验支持了其作为重要研究方向的有效性。

  9. arXiv · 机器人与计算机视觉35

    3D-Force Estimation for Dual-arm Manipulation of Deformable Linear Objects via Factor Graphs 预印本发布

    针对欠驱动的可变形线性物体(如线缆),该工作提出基于因子图的方法,在仅使用单一传感信息下同时重构形状并估算三维力的大小、方向及位置。实验通过引入测量噪声并在外部力作用下验证了方法的有效性,为双臂操作任务提供了可靠的接触估计与精确控制方案。

  10. arXiv · 机器人与计算机视觉78

    Learning Direct Control from Optimization for Dynamic Target Tracking

    针对移动机器人在导航障碍物同时保持目标可见性的动态跟踪任务,本文提出 LECO 框架,通过将轨迹优化转移至离线直接控制策略学习,利用可微运动学模型让轨迹级目标直接指导控制学习。

    推荐理由:LECO 框架将轨迹优化转化为离线直接控制策略学习,在仿真与真实机器人平台上实现了平滑且鲁棒的动态目标跟踪。

  11. arXiv · 机器人与计算机视觉31

    基于分位数的命令预留 MPC 解决两轴电流指令云台指向控制问题

    该研究提出一种结合分位扰动预测与管式模型预测控制的算法,在存在摩擦、扭矩脉动及模型失配等机械干扰下实现高精度线视场指向。实验显示,该方法在两轴嵌入式平台上七次重复试验中,二维指向均方根误差为$3.94 \pm 0.10$ mrad且评估窗口内无命令受限样本。论文已提交至《富兰克林学会学报》,附带硬件试验数据与重算脚本作为辅助文件。

  12. arXiv · 机器人与计算机视觉48

    MMGNet:多模态六自由度抓取合成网络在杂乱场景下的性能突破

    MMGNet 通过分层图像到三维特征注入与旋转抓握性建模,解决点云噪声及 RGB 信息利用瓶颈。该模型在 GraspNet-1Billion 数据集上实现 60.34 的平均 AP,并在对抗性物体实验中较 AnyGrasp 提升 8.46 个百分点成功率。代码、模型与数据将在发表时开放。

  13. arXiv · 机器人与计算机视觉42

    物理 AI:带多约束的航空光电云台复合扰动分离与预测控制研究

    该研究提出一种结合自适应周期观测器与有界 LSTM 网络的模型预测控制(MPC)方案,用于解决航空光电云台在载体振动、输入延迟及执行器约束下的指向稳定难题。实验搭建无人机双轴云台平台进行室内悬停对比测试,结果显示该方法将俯仰和偏航相对角度均方根误差分别降至 0.350 度和 0.770 度,较线性主动扰动抑制控制降低跟踪误差 45.9% 和 25.1%。

  14. arXiv · 机器人与计算机视觉72

    面向四旋翼无人机的拦截导向球形轴承非线性模型预测控制研究

    针对搭载惯导相机的四旋翼拦截器需同时解决机动与相机指向耦合冲突的问题,提出 ISB-NMPC 方法,结合 S^2 上的姿态补偿扩展卡尔曼滤波进行目标方位预测。在 30 次配对仿真试验中拦截成功率达 86.7%,平均可见时间占比 99.11%;户外飞行实现约 150 米外获取 30 厘米目标,长航程速度约 17 m/s,追击机动目标时约 14 m/s。代码与硬件开源。

  15. arXiv · 机器人与计算机视觉74

    基于德国坦克问题的嗅觉导航终止准则研究

    针对机器人接近气味源时浓度梯度平坦化及湍流导致信号中断的问题,本文提出一种受二战德国坦克问题启发的轻量级统计估计方法。该方法将传感器读数视为观测值,仅需维护运行最大值和样本计数器即可构建无偏估计器,用于估算气味羽流的峰值浓度并推断源头位置。研究推导了该估计器的精确置信边界,将其转化为机器人或无人机判断是否继续搜索或着陆的决策规则,并在假设失效情况下考察了其鲁棒性与样本效率。

  16. arXiv · 机器人与计算机视觉83

    LLM4Robot-Bench:GPT-6 Astra 在机器人操作中的极限有多远?一个分层配对仿真 - 现实基准

    作者引入了 PhysLadder,这是一个用于评估富接触操作中物理交互能力的分层 Sim-Real 基准。其包含的 16 个家庭任务跨越三个累积层级:接触选择与几何对齐(L1)、持续接触内的力调节(L2)以及协调接触重构与力调节(L3)。

    推荐理由:该基准通过分层任务量化了 GPT-6 Astra 在接触密集操作中的能力边界,揭示了从几何对齐到力调节的退化规律。

  17. arXiv · 机器人与计算机视觉73

    PS-DLO:一种感知物体属性与空间的变形线性物体操作策略

    针对变形线性物体(DLO)定位难且形变依赖物理属性的挑战,提出 PS-DLO 策略。该方法利用对比图像文本学习获取物体属性先验,并通过 SAM3 提取未来观测的掩码引导特征以编码任务相关区域及后续构型。在单臂与双臂平台上的九项真实世界任务中,PS-DLO 平均成功率达 68.9%,比最强基线高 20.0 个百分点;在蝴蝶结解开的泛化实验中,七种视觉扰动条件下有六种表现优于基线。

  18. arXiv · 机器人与计算机视觉38

    LiDAR-Based Sim-to-Real GNN Framework 实现建筑机器人无标签轨迹交互感知路径修正

    该研究提出一种基于激光雷达的实时框架,从无标签演示中学习交互感知的路径修正以应对动态施工环境。在砌砖试验中,该方法将路径不规则性降低 39.2% 并提升最小 TTC;在 Dynablox 序列中,TTC 增加 38.3% 且生成更平滑路径。消融研究验证了 1.0 秒预测区间及上下文增强等策略的有效性,论文已提交至 Automation in Construction。

  19. arXiv · 机器人与计算机视觉28

    ElevateHead:一次决策后锁定动作头以解决多模态模仿学习中的摇摆问题

    ElevateHead 通过在学习到的决策点一次性选择并锁定动作模式,解决了策略在演示存在多种有效方式时的摇摆现象。该方法在受控任务中将成功率从基线 BeT 的 29.3% 提升至 45.2%,且在强制指定模式下对成功集子的匹配率达 95%。研究通过逐版诊断修复了不同起始位置和物体摆放导致的承诺失效,但仿真结果尚未在真实机器人上验证。

  20. arXiv · 机器人与计算机视觉78

    Speech-π0.5:面向机器人操作的直接语音条件语言 - 动作模型

    针对视觉 - 语言 - 动作(VLA)模型依赖文本输入导致自然语音部署受限的问题,本文提出 Speech-π0.5。该模型基于 π0.5 架构,利用跨模态投影将原始语音帧直接转换为音频 token,无需显式文本转录,从而显著降低响应延迟。实验在 LIBERO 基准上验证了其在保持竞争力的任务成功率的同时,对未见口音具有鲁棒性,而单一适配器则表现较差。

    推荐理由:提出 Speech-π0.5,通过跨模态投影将语音帧直接映射为动作指令,相比传统 ASR 流程降低三倍响应延迟。

  21. arXiv · 机器人与计算机视觉53

    RoboLongR:因果一致奖励让机器人逐步掌握长视界操作

    论文提出 RoboLongR 框架,旨在解决长视界操作中视觉进展掩盖任务先决条件的问题。该方法通过阶段打乱监督、循环记忆和两轮训练学习依赖历史的奖励,引导策略从行为克隆过渡到在线强化学习。模型在 RLBench 88 个任务预训练后,对未参与预训练的 18 个长视界任务平均成功率达 31.8%,超越最强基线 9.2 个百分点;在四个真实机器人任务上成功率为 57.5%,提升 32.5 个百分点。

  22. arXiv · 机器人与计算机视觉72

    AdaDexTrack:面向语言指令的自适应灵巧操作跟踪新框架

    论文提出了 AdaDexTrack 框架,通过引入循环调制器解决语言指令转化为长程接触丰富手物交互时的噪声与偏差问题。该框架包含蒸馏后的通用跟踪器作为技能载体,以及执行参考调制、物体潜变量调制和位置目标调制三种反馈修正机制。研究在大规模数据集上训练并验证了该方法在未见轨迹和物体上的鲁棒性与泛化能力,同时在真实硬件上实现了零样本仿真到现实的迁移,显著提升了纯跟踪器变体的性能。

  23. arXiv · 机器人与计算机视觉82

    RoboJev:一个开放的视觉语言机器人成功检测模型

    arXiv 发布了一个名为 RoboJev-27B 的开源视觉语言模型,用于判断机器人操作任务是否成功完成。该模型基于 JEV-27B-VL 变体训练,在 SO-101 机器人上达到 95.2% 平衡准确率,并支持跨实验室与未见过机器人的泛化。材料提供了推理代码、20,628 条预测结果及透明评测基准,同时对比了基于 API 的前沿视觉语言模型。

    推荐理由:该预印本公开了用于机器人任务成功检测的视觉语言模型 RoboJev-27B,提供了推理代码与基准评测数据。

  24. arXiv · 机器人与计算机视觉72

    EXE:基于因子化潜在动作的以自我为中心跨具身预训练框架

    该论文提出 EXE 框架,旨在解决机器人数据稀缺问题。方法上,利用第一人称人类操作视频作为替代数据,通过分解潜在动作表示将共享的操作先验与人体特定运动模式分离,使 VLA 模型能学习可迁移的技能而不受人体运动学偏差影响。实验表明,该方法在 RoboTwin 2.0、RoboCasa GR1 及真实世界任务中均优于未预训练的基线,且能同时受益于平行夹爪和灵巧手两种执行器。

  25. arXiv · 机器人与计算机视觉31

    灵巧操作学习综述:手、仿真器、训练与评估

    该综述调研了 113 种基于学习的灵巧操作方法,涵盖其运行的手部硬件、训练的 GPU 仿真器及结果报告方式。研究发现近半数方法采用强化学习在单一仿真器中训练并蒸馏至视觉学生模型,而另一半则通过遥操作演示利用视觉语言动作模型学习。自 2022 年以来相关发表工作已增长三倍,且几乎所有实验均基于四种手部硬件进行。

  26. arXiv · 机器人与计算机视觉75

    MDPO:一种用于安全灵巧操作的多约束强化学习策略优化方法

    针对灵巧操作中需同时满足关节限位、手指安全及物体交互稳定等多重异构约束的挑战,本文提出多约束灵巧策略优化(MDPO)框架。该方法将任务建模为包含累积成本与状态级成本的双约束优化问题,并通过特定于约束的策略投影技术,将最大化任务性能的策略映射至可行域。

  27. arXiv · 机器人与计算机视觉67

    MOTIO:面向现实锚定的人形机器人大型化操作技能工程系统

    论文介绍 MOTIO 系统,该系统将普通人类动作视频、现实锚定的 3D 资产及可复用技能转化为可执行的人形机器人运动与操作程序。通过上下文任务推理与接触感知,智能体构建分阶段交互并利用物理执行优化,无需特定任务的遥操作或机器人示教收集。

  28. arXiv · 机器人与计算机视觉68

    ORBIT:一种具备旋转指节重构能力的模块化多指机械手平台

    针对多指机械手缺乏系统性比较平台的现状,本文提出了 ORBIT 平台,其核心是旋转指节机制,允许手指沿圆柱形手掌通过皮带驱动快速重构布局(<1 秒)。实验展示了三指实例在十一类不同物体上的抓取能力,并验证了非人体工学轨道自由度在立方体面重定向、盖子旋拧及亚厘米级物体精密捏取等任务中的优势。