面向语言条件双手动操作的执行感知任务规划方法
论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。
推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。
论文提出一种零样本视觉语言框架,用于解决双足机器人在杂乱环境中执行自然语言操作任务的挑战。该方法将结构化场景表示与执行约束结合,在规划阶段即考虑物理可行性,并建立包含显式前后条件的并行双手动动作序列。
推荐理由:该研究提出零样本视觉语言框架,将执行可行性推理融入任务规划,在双足机器人上验证了提升成功率与故障恢复能力。
现代视觉 - 触觉传感器通常通过成像柔性界面变形来感知接触,但力相关信息仍需间接推断。本文提出 PCTac,一种开源的机械变色光子晶体指尖传感器,利用局部应力直接转化为空间分辨的结构色场作为触觉观测。
推荐理由:该研究提出基于机械变色光子晶体的触觉传感器,在真实机器人操作中显著优于传统 RGB 与纯视觉基线。
针对动态模型参数与外力不确定性问题,该研究提出一种径向基函数神经网络补偿器,其输出由笛卡尔跟踪控制器与关节空间 CBF 滤波器共享。通过辅助状态修正学习信号,该方法在约束调节、失配不确定性及扰动试验中,有效提升了两自由度机械臂的轨迹跟踪精度并维持了关节、速度与力矩限制。论文已提交至 2027 年欧洲控制会议,arXiv 版本为 v1。
针对机器人学习中多模态表征难以实现通用且良好对齐的挑战,本文提出 UniOMA 方法,通过引入几何感知的 Gromov-Wasserstein (GW) 距离正则化来增强现有的对比损失。
推荐理由:提出结合几何感知的 Gromov-Wasserstein 距离正则化,解决多模态表征结构对齐难题。
ExoStack 是一个模块化 ROS 2 框架,通过 ESA 库配置 ESP32 板作为微 ROS 传感与执行枢纽。ExoCore 节点提供多枢纽同步、步态事件检测及人机闭环优化等核心功能,支持算法插件扩展而无需修改通用处理节点。该框架已在三种嵌入式计算机上完成时序表征,并成功复用于两套气动外骨骼系统。
针对多机器人协作中个体观测不足的问题,论文提出一种面向任务的主动上下文共享框架,将原始观测转化为紧凑表示以保留关键信息。该方法分两阶段训练:首先联合编码车载观测与任务指令生成紧凑上下文;其次将其集成到预训练的视觉语言动作策略中实现双向交互。实验显示在受限通信条件下性能显著提升,并在复杂双机器人真实场景中验证了有效性。
推荐理由:提出面向任务的主动上下文共享框架,在受限通信预算下提升双机器人协作任务性能。
该论文提出 VLA Multi-teacher On-Policy Distillation (VLA-MOPD) 协议,旨在解决多任务视觉语言动作模型(VLA)的聚合难题。
该论文提出一种分层多通道倾覆预测框架,旨在解决非结构化环境中通信延迟导致的实时人工干预困难问题。系统利用多层级时间卷积网络(TCN)学习渐进式不稳定模式,并通过门控循环单元(GRU)构建前向动力学模型以检测意外动态偏差。
该研究提出一种结合三维预测与轨迹跟踪接口的博弈论模型预测控制规划器,用于解决无人机的协同目标到达及对抗追逐逃逸任务。PyBullet 仿真验证了可行性,实验室飞行实验进一步证实了物理平台上的轨迹跟踪接口有效性。论文已提交至 ECC27 会议,代码与权重暂未公开,仅作为控制器开发的评估基础。
针对涉及多艘无人表面船只(USV)的巡逻任务,本文提出一种结合网格路径规划、代理旅行时间预测和图强化学习的框架,以最小化任务完成时间和总延迟。该框架利用可行转换图表示候选事件并训练策略,在保持优势的同时将计算需求降低至对比基线的约 1/35,且对未见过的优先级设置具有鲁棒性。材料为预印本论文,未报告真实机器人部署结果。
论文介绍了 Embodied First Exam,这是一个统一的评估框架,允许代码智能体选择直接控制、生成代码控制或训练策略来控制机器人。该基准包含 35 个套件中的 1,156 项任务,覆盖 47 台机器人,包括 9 个新套件以应对空间谜题、灵巧操作等挑战。
针对现有具身智能基准缺乏对复杂布局中空间推理及动态场景下空间记忆的评估问题,作者提出了 GeoMind 基准。该基准包含 54 个围绕空间推理和空间记忆组织的任务变体,并提供了自动化生成与标注任务的流水线。广泛评估显示,各类代理在空间变化后的身份追踪以及将关系或几何约束转化为可执行动作方面存在显著弱点。材料为预印本版本,未报告真实机器人部署结果。
论文研究类人机器人在长视界语言指令下的多目的地导航任务。作者提出 LHNav 系统,将导航组织为脑(任务推理)、小脑(局部运动生成)和脑干(全身执行)三个互补角色,利用异步机制协调目标、VLA 动作预测与全身控制。
该系统利用磁流变制动器实现从 0.01 到 0.918 Nm 的制动扭矩,总质量仅 39.8 g。在遥抓取任务中,当视觉与触觉反馈均达 100% 成功率时,触觉反馈使物体接触力降低 28.2%,显著提升了操作安全性与沉浸感。问卷结果进一步证实该装置能改善用户对遥操作的可靠性、真实感及信心。
作者 Dibyendu Ghosh 提出 Motion Belief Action(MBA),这是一个基于场景地图的决策层,用于处理机器人无法直接观测的物理状态与风险。
推荐理由:提出 Motion Belief Action 决策层,在真实厨房与多地点场景中提升物体存在判断与推拉风险决策能力。
针对仿真策略在真实硬件上因非理想性而性能下降的问题,论文提出 GAP 框架,通过梯度引导网络学习如何调整动作而非直接执行动作,将适应先验从仿真迁移至物理硬件。实验显示该方法在仿真阶段相比现有基线提升约 2.4 倍 F1 分数,且在真实灵巧手上对三首不同难度的乐曲分别提升了 3.6% 至 23% 的 F1 分数,展示了减少真实世界交互成本的有效路径。
推荐理由:提出利用梯度引导网络学习适应先验,在仿真阶段提升钢琴演奏任务的样本效率并迁移至物理硬件。
针对通用视觉基础模型缺乏对机器人控制所需时序敏感表征的问题,本文提出 SPARK 方法。该方法基于时序抽象与知识保留两大原则,在保持预训练语义的同时提取紧凑的视觉状态表征。实验表明,SPARK 在多基准测试中持续优于原始基础模型,且其增益可迁移至真实世界的机器人操作任务。
Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过引入历史表征机制整合稀疏关键帧与显式地图以保留长时空上下文。该模型基于单目 RGB 视频训练,涵盖超 500 小时真实交互与超 2000 小时标注网络视频数据,支持从轮式机器人到无人机等多种载体。
推荐理由:Compass 1 是首个统一语言理解与视频生成的具身导航基础模型,通过历史表征实现近两分钟视觉回溯,在开放世界导航任务中成功率达 79.4%。
Lexing Zhang 等人提出了 Motion Constraint Prediction Network (MoCo-Net),这是一个双流神经网络,用于从部分视角的点云观测中联合预测连杆部件的连续运动范围以及突出潜在碰撞区域的障碍物热力图。
论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。
推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。
OASIS 是一种分层导航框架,将模型预测控制器的优化结果反馈给软演员 - 评论家(Soft Actor-Critic)策略以生成子目标。该框架在包含静态与动态障碍物的五种场景中评估,相比层级及直接目标控制变体实现了最高的综合导航成功率。匹配对比显示其相对于无优化状态输入的相同层级架构具有持续的成功率优势,且主要优化失败更少、平均控制器时间相似。
Thermo-VLA 提出 ThermoRes Encoder,将热成像图分解为冷和热属性表示并通过语言条件残差调制注入 RGB token,实现温度驱动的目标选择与连续操作。
该论文研究了机器人演示数据集如何结合不同经验的遥操作者数据,提出用“数据倍数”衡量两组演示达到相同成功率所需的数量比。研究基于 robomimic 的 Square 和 Can 任务,对比了标记为 Better(更好)和 Worse(较差)的操作员数据。
该研究提出利用代理在物理仿真中进行自学习以掌握翻动物体的基础操作技能。通过迭代学习,系统逐步习得手递手、推倒、抓取感知及薄物体操控等子技能,将任务成功率从 24.7% 提升至 95.0%。最终生成的基于图形的代码集成了高层策略选择与反应式控制,已验证可在实体机器人上实现多阶段翻动物体操作。
推荐理由:论文展示代理在物理仿真中自主习得翻动物体技能,成功率从 24.7% 提升至 95%,并生成可迁移到实体机器人的代码。
该研究针对水下领航 - 跟随编队控制中感知条件受限和计算资源有限的问题,提出了一种可靠性自适应的多模态感知框架。该方法融合视觉、声学测距和水动力测量数据,通过自适应加权各模态贡献并建模时间依赖性,在嵌入式 NVIDIA Jetson AGX Orin 上实现了低延迟推理(17.62 ms)。
针对通用机器人策略在任务步骤中因指令误读而失败的问题,研究提出一种无需梯度、训练数据或修改指令的闭式权重编辑方法。该方法将显式重述指令对语言模型 MLP 权重的逐层效应蒸馏进网络,使 RoboLab 平台上的零样本策略成功率从 27 提升至 106(81 个修复成功,2 个破坏),且未对其他任务造成损害。研究还验证了该方法在动作专家或头部位置效果有限,并提供了开源代码与基准测试工具。
该研究提出一种由三个执行器驱动四个自由度的混合肌腱连杆机器人手指,通过锥齿轮和双向肌腱传动实现 MCP 关节独立控制。实验表明基于 ArUco 的测量显示耦合运动与理论预测高度吻合,指尖平均峰值力达 4.56 N,且无需额外执行器即可适应圆柱、立方及不规则物体接触。
针对连续控制中的探索问题,本文系统研究了从白噪声到红噪声的线性调度策略及其对 Fetch 机械臂和 Shadow Dexterous Hand 在稀疏奖励操作任务上的影响。研究发现,训练结束时的噪声颜色不影响最终性能,但向红噪声过渡可将所有任务的探索动作抖动减半。研究建议将向红噪声过渡的调度器作为离线机器人学习的默认配置,以平衡学习效率、最终表现与运动平滑度。
推荐理由:研究证实训练后期向红噪声过渡的策略,在保持学习效率的同时显著降低动作抖动,可作为离线强化学习的默认探索方案。
论文提出 DASH(Decoupled Asynchronous System for Humanoids),通过异步解耦将 VLA 模型的慢速骨干与快速动作头分离,使控制频率仅取决于动作头。
推荐理由:提出 DASH 异步系统解耦 VLA 骨干与控制头,在仿真与真机实验中保持高频控制率并提升灵巧操作成功率。
针对模仿学习中视觉输入随视角变化导致信号模糊的问题,本文提出 PAIR 框架,利用机器人本体感知(proprioception)将联合图像与射线表示进行对齐。该方法鼓励在相似机器人状态下、不同视角下的观测在表示空间中保持接近,从而为学习视角鲁棒的特征提供结构化先验。
推荐理由:提出利用机器人本体感知对齐图像射线表示的对比学习框架,在仿真与真实场景中显著提升了对视角变化的泛化能力。
该研究提出了一种用于平面双积分动力学机器人的分布式模型预测控制架构,通过时变冲突图减少协调需求。系统在 C++ 仿真中验证了 8、16 和 32 台机器人的无碰撞执行能力,计算可扩展性显著提升且任务性能与集中式基线相当。
论文提出利用预训练扩散模型联合表示状态、动作和观测,通过粒子滤波维护关于状态历史的竞争假设并据此引导动作选择。实验在部分可观测导航与视觉操作任务上验证了该方法相比无滤波的动作生成策略,能提升状态估计精度与任务性能,且无需修改预训练模型或额外测试时信息。
针对非线性软体机器人难以获取大量交互数据或可靠仿真器的难题,研究提出利用其动力学固有的时间尺度分离特性,构建低维不变流形(adiabatic spectral submanifolds)作为强化学习环境。
作者提出一种基于绝热谱子流形理论的纯数据驱动方法,从硬件平台采集的数据中学习五维非线性常微分方程以建模软体螺旋体躯干机器人的动力学。该方法结合模型预测控制方案,在包含静态与动态约束的二维至三维闭环轨迹跟踪任务中实现了实时精密控制。
推荐理由:基于硬件采集数据学习软体机器人动力学模型,在闭环轨迹跟踪任务中精度优于现有线性方法与无模型强化学习。
该研究提出将退役的边缘计算模块(如 32 GB Jetson AGX Xavier)通过重新产品设计转化为多语言服务机器人,实现了在设备端运行五种 AI 服务和七种语言的语音链。
论文提出 Streaming Failure Forecasting (SFF) 方法,解决视觉语言动作(VLA)策略离线训练、在线漂移后的监控失效问题。该方法固定离线网络,仅利用每集结果对输出层进行轻量级重拟合(Jetson CPU 核心耗时 2.18ms)。在仿真与真实 SO-101 机械臂的实验中,SFF 在未公告的任务或策略切换场景下,故障排序能力均优于冻结监控器及重置方案。
论文发现基于无标签视频学习的离散潜在动作码分配极不稳定,受训练细节影响显著。研究提出利用猕猴腹侧运动前额叶皮层(PMv)的表征几何约束动作码分配,在未见形状类别上实现了 0.52 的表征相似度,优于随机编码器及无先验模型。作者明确了下游操作测试方案,将在后续版本补充 CALVIN 管道上的机器人操作结果。
针对类人机器人在户外粗糙地形中需同时处理地形通过性与物体可移动性的挑战,本文提出 HINT-VLM 混合规划框架。该方法利用视觉语言模型(VLM)提供语义先验,并通过高斯过程残差模型修正以生成具身化的概率性可移动性估计,进而融入分层不确定性感知规划中。这是首个通过预测式可移动性推理解决粗糙地形下 NAMO 问题的方案。
该研究开发了一种穿戴式机器人尾巴作为动态反作用力装置,以改善物料搬运时的平衡与姿态。10 名参与者在货架装卸任务中对比了主动、被动及无尾巴三种条件。结果显示,相比无尾巴,主动机械尾使重心峰值位移减少超过 20 毫米,躯干运动减少 4.3 度,竖脊肌和腓肠肌活动分别降低超过 9% 和 20%;被动机械尾也有较小改善但效果较弱。
论文介绍 FlowEval,一套利用流匹配目标探测具身基础模型的无训练诊断指标。该工具通过成功的目标域演示量化预测分歧以评估预训练模型与特定部署的契合度。研究涵盖 Pi-0.5、MolmoAct2、GR00T 和 DreamZero 四个模型家族,并在真实世界与仿真环境中区分了已见与未见部署。