一种融合触觉的双层框架用于鲁棒的基于模型的在手中操作
针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。
推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。
针对现有基于模型的方法在处理复杂物理接触和建模误差时的局限性,本文提出了一种融合触觉感知的双层框架。高层通过接触隐式的模型预测控制联合生成参考手指运动与接触点,实现在线反应规划与扰动恢复;底层利用手力 - 运动模型与触觉反馈并发跟踪这些参考,补偿建模误差并增强鲁棒性。
推荐理由:该工作提出双层框架,结合接触隐式 MPC 与触觉反馈以解决模型误差问题。
这是一篇关于基于高斯过程学习的模型预测控制(GP-MPC)的教程论文,结合概率残差建模与移动视界控制。文章核心贡献在于详细推导了多步均值和协方差传播公式,阐明了高斯过程后验均值、协方差及不确定输入在其中的作用。
针对非线性时间最优模型预测控制计算成本高难以实时的问题,本文提出一种集成化架构以实现数据高效的实时神经模仿。核心贡献包括自信息采样策略、联合处理数据集相关性等挑战的完整训练与控制架构,以及在 Furuta 摆上的真实世界验证。
CABOT 是一种将环境网格设为主动计算介质的新模型,使无需灯光或内存的弱能机器人能在四状态下实现排线与无限探索。该模型在仿真中验证了五状态场静默排线、三状态任意聚集及迷宫引导等能力,证明环境资源而非机器人自身是核心度量。研究通过 19 页论文与 5 幅图示展示了从惯性地板到活性网格的范式转变。
针对现有模仿学习方法假设演示者同质或接近最优的不现实问题,本文提出 LEOS-IL 框架,从未标记的低质量离线演示中联合学习状态动作最优性评分模型与各演示者的潜在专家水平。该方法将评分模型集成至在线策略优化流程,利用在线 rollout 迭代 refine 评分模型以缓解分布偏移,并在连续控制基准上展示了在高度异构和低质量演示数据下的优越性能。
论文提出了 SPIRE(Situation-guided Primitive Integration for Recurrent Embodiment),这是一个通过动作 - 结果证据推断潜在情境并在线学习特定情境下运动控制器的循环脉冲系统。
HEIR 是一个用于研究如何 Harness Egocentric Intent for Human-Robot Interaction 的资源,它配对人类的语音、测量的注视和第一人称视频与机器人观测及遥操作导航 - 操作轨迹。
针对异质多机器人系统的协作任务分配难题,研究提出一种迭代聚类算法,将全局优化分解为子问题并保证每轮效用单调提升。仿真显示该算法在计算时间和解质量上均优于模拟退火及群组拍卖方法,且解质量超越享乐博弈方案。论文已发表于 IEEE RA-L 并在 2026 ICRA 展示,代码与数据待注册。
针对模仿学习中策略对状态扰动(如传感器噪声、场景变化)的鲁棒性问题,本文提出内积正则化(InneR)。该方法利用策略雅可比矩阵将动作空间的内积映射至状态空间,通过聚类并最小化平均内积的最小特征值,使邻近状态共享公共零空间,从而确保对扰动的响应一致性。
针对现有潜在动作模型仅通过视频重建导致表征按外观聚类而非动作的问题,该研究引入 SALA 方法,利用人类与机器人视频的语言描述估计语义相似度并建立跨载体对应关系。
推荐理由:提出利用语言描述对齐人类与机器人潜在动作,无需配对数据即可统一监督信号。
ACE-CaP-0 提出一种结合按需演示(Demonstrations on Request)与按需仿真(Simulation on Demand)的智能体配方,旨在通过经验获取并保留可执行的物理技能。
推荐理由:提出 ACE-CaP-0 框架,结合按需演示与按需仿真将八项真实操作任务成功率提升至 92.1%,实现无需人在环的自主执行。
论文介绍 EgoX 框架,利用语义对应的观测与动作模态组织异构演示数据。模型 MXT+ 采用模块化交叉具身 Transformer 架构,为每种观测和动作分配专用 Tokenizer 与专家,共享主干网络并通过训练专用的身体 Dreaming 目标预测未来视觉和本体感觉状态以建模动力学。
推荐理由:该预印本提出 EgoX 框架,通过模态解耦与身体 dreaming 实现跨机器人策略迁移,在 OOD 条件下显著提升任务进度。
针对手机分心行人不可预测的偏离行为,该研究提出基于 3D 骨骼特征和随机森林分类器的实时注意力感知导航框架。用户研究显示,在 252 次试验中,该方法相比仅用 LiDAR 或仅轨迹预测的基线,显著提升了平滑度与可预测性且未增加通行时间。实验证实,只有结合注意力状态感知的代价地图调整,才能有效改善主观导航质量。
论文提出 NSDL(Neuro-Symbolic Division of Labor)框架,针对异构机器人团队的任务规划,将视觉判断与逻辑求解解耦:小参数视觉语言模型负责从场景图像和指令中识别未达成目标并生成计划草图,确定性求解器据此展开为可执行联合计划。
针对机器人操作需同时理解场景结构与任务历史的问题,该研究提出 STVLA 框架,将预训练视觉几何基础模型的表征融入时序记忆,使策略能回忆过去场景结构以辅助当前决策。
针对社交机器人长期存在的对话轮转失败与误解难题,该研究提出需采用多模态双向流技术以降低此类故障频率。论文回顾了提升语音识别与轮转的早期方法,并论证了当前技术路径的有效性。该工作已在 EMF Workshop 及 HRI 2026 会议上展示,代码与数据许可状态待定。
HALO 是一种针对全身体移动操作的人机对齐数据采集系统,通过保留直接物理反馈与天然运动能力解决现有接口在感知、动作对齐及操作员移动性上的权衡难题。相比 Mobile ALOHA 和 VR 遥操作,HALO 将演示采集速度提升最高 2.9 倍,同时在六阶段长视界任务中保持相当或更高的成功率。经部署对齐处理策略训练后,系统在涉及重复协调基座与手臂运动的复杂操作中达到 73.3% 的成功率。
VOKE 是一个运动学感知感知框架,通过可插拔模块预测物体的线角速度加速度并优化位姿估计。在 DexYCB 和 OakInk 数据集上,该方法显著降低了速度与加速度误差,优于基于位姿差分的方法。下游应用利用增强策略在无微调情况下成功从仿真迁移至物理机器人,验证了感知到控制的完整路径。
针对传统全身运动跟踪策略训练耗时长的痛点,本文提出 BlinkMimic 配方,结合从并行仿真学习的世界模型回传梯度、Muon 更新机制以及残差策略等技术。
推荐理由:作者提出 BlinkMimic 配方,在单卡 RTX 4090 上仅需 3.4 分钟即可训练出能复现 40 个动作片段的人形机器人全身运动跟踪策略。
论文介绍 VI AMO 数据集,包含来自 11 个机器人源的 6,600 集视频及动作与任务标注。研究提出 VIM 模型,在未见测试数据上对原子动作和任务的预测相似度分别达到 0.825 和 0.821,且在标签缺失情况下仍保持较高性能。
推荐理由:该工作提出 VI AMO 数据集与 VIM 模型,能从视觉历史解码人类意图,使 VLA 策略在未见环境中接管任务并显著降低遥操作时间。
论文提出 VBot Exo2Ego Policy 模型,将第三人称视频转化为选定演员的第一人称观察视角,以扩充第一人称操作数据。系统包含支持双视角同步采集的轻量级流程,利用预训练扩散 Transformer 结合几何引导与语义掩码监督优化手物交互保真度。
针对长视界操作中因任务进度和早期尝试结果导致的决策别名问题,本文提出 CGEM 方法。该方法利用评论器筛选能显著改变成功概率预测的事件进行记忆,将正负变化分别编码为进展与失败记录,并在子任务完成后丢弃失败记录以降低成本。在十个子任务的诊断环境中,CGEM 达到 88.0% 的成功率,而传统观察窗口和运动学事件记忆方法成功率均为 0.0%,移除失败记录后成功率降至 1.7%。
推荐理由:提出基于结果导向的评论门控事件记忆机制,解决长视界操作中决策别名问题。
ManiLadder 是一个大规模且组织良好的机器人操作仿真基准,包含 112 个精心设计的任务,分为 4 个难度等级,涵盖刚性/柔性物体、单臂/双臂及夹爪/灵巧手末端执行器。作者通过固定数据量并使用统一的流匹配模仿学习策略校准难度,验证了任务难度排序在现实世界实验中得以保持。
推荐理由:该基准通过固定数据量与统一策略校准任务难度,验证了从仿真到现实的难度排序一致性。
MotionSkill 通过从单目视频中恢复时间参考帧,并在仿真中将其适配至不同的目标机器人。该方法对齐根运动与身体地标,利用目标肢体长度在关节限制下求解逆运动学。研究者在 MuJoCo 平台上针对十种双足机器人分别训练了残差策略,使其能根据接触状态修正关节指令。实验显示,该模型在原始视频步态上完成了 98% 的初始状态任务,在遮挡上半身一秒的情况下完成率为 26%。
针对灾害现场机器人接触导致未检查地形塌陷的问题,论文提出一种记忆高效的并行策略学习框架。该方法通过混合地形建模结合非塌陷区域的刚体仿真与可塌陷区域的虚拟接触力,在共享刚性物体可塌陷地形上实现间接干扰下的独立状态 - 动作经验采集。
该论文概述了 Hibikino-Musashi@Home 2026 团队在 RoboCup@Home 2026 比赛中开发的集成技术。
推荐理由:原文概述了 RoboCup@Home 2026 团队的集成技术方案,涵盖无训练目标识别、语义建图及低功耗时序处理模型。
该研究针对室内环境下利用固定外置相机进行机器人导航的问题,指出标准 PPO 算法因视角不匹配而失效。为此提出 Viewpoint-Invariant Navigation from Exocentric Cameras (VINE) 方法,通过监督学习构建障碍物地图估计网络,输入外置图像、相机位姿、机器人位姿及房间尺寸以生成观点不变障碍图。
论文提出 H2E 方法,将导航代理(LLM 规划器调用 VLA)的成功会话转化为 VLA 训练数据,使 VLA 在测试时独立导航。该方法保留原始任务指令下的动作并将目标位姿作为奖励,同时屏蔽远离目标的步骤损失,将在 1 米内的访问状态标记为停止点。
该研究提出一种基于二次规划(QP)的反馈控制器,利用耦合控制屏障函数(CBF)与让行矩阵在输入约束下保证多机器人系统无死锁运行。理论分析确立了局部 Lipschitz 充分条件及有限减速导致的不可约松弛分量边界,仿真验证了其在不同让行偏好下的自适应协调及对机器人故障的鲁棒性。
针对长视界操作中的不确定性问题,本文提出一种可见性感知任务与运动规划算法,将现有确定性求解器扩展至部分可观测物体重排场景。该方法在规划骨架中交错插入感知动作,并利用基于持久对象的记忆融合观测数据以构建物体网格假设和占据栅格图。在具有严重遮挡和部分可视性的真实桌面重排任务上评估表明,该算法优于未执行主动感知或缺乏持久记忆的基线方法。
论文提出 PERA 方法,旨在解决运动模仿中微调整个策略会干扰现有行为、独立训练每个策略成本高的问题。该方法冻结预训练的混合专家策略,利用任务奖励或教师动作监督训练额外的任务专家及其路由分数。
推荐理由:提出 PERA 方法,通过冻结预训练策略并新增任务专家实现连续全身控制技能复用,在 Unitree G1 仿真中成功完成十项新任务且保留原有动作。
论文 JustRUA 针对 GPT-6 Astra 在 RoboDojo 上的表现差异,拆解了 harness、动作接口、经验复用与场景几何等设计因素并进行统一测试。
针对分离粘连、嵌入或受约束目标的需求,研究团队提出了 DexRemo 三指机械手平台,具备高力驱动、模块化指尖及三轴力传感能力。系统采用腕系中心坐标系统一表达指尖力,结合动作分块 Transformer 骨干网络,融合多视角视觉、本体感知与力觉观测以预测闭环动作片段。
论文提出 FLUX-mimic 视频动作模型,利用大规模预训练骨干网络与动作专家模块,在四款汽车制造基准任务及双机械臂平台上验证了数据高效性。该模型在灵巧操作平台超越所有基线,在夹爪平台达到 pi_{0.5}的平均成功率;针对可变形零件组装任务,仅需两小时的动作标注演示即可实现 77.5% 的成功率。材料为 arXiv 预印本,未报告真实工厂部署结果或量产状态。
RUMI 是一款适配 Robotiq 2F-85 抓取器的手持通用操作接口,通过可更换指尖传感器保留几何结构并支持接触前自然输入与接触后力测量。系统结合 VR 头显提供运动学可行性实时增强现实反馈及仿真与真机的力感知遥操作能力。用户研究显示,相比无增强现实方案,该接口在真实机器人可视化与姿态初始化下将关节极限违规样本数从 16/50 降至 3/50。
该研究将障碍物检测、Koopman 运动预测及在线误差估计集成至碰撞规避机制,通过聚合邻近障碍降低计算复杂度。仿真闭环对比显示,Markov 残差收紧使物理接触率从 10.0% 降至 1.33%,平均耗时仅增加 0.68 秒。人群导航语义消融实验表明,行人感知处理下机器人足迹与个人空间重叠占比为 2.11%,显著低于通用障碍物处理的 22.84%。
论文介绍Embodied-Corrector框架,旨在解决具身智能模型仅凭指令规划不可靠的问题。该方法通过注入扰动构建失败恢复数据,采用Judge-Cause-Sub-Fine监督对齐动作、后果与原因。
研究利用标准机器人、单目眼手相机及内禀力估计,建立弹性塑性材料变形的实用测量基础。基于 52 组数据训练的紧凑多层感知机在独立测试集上达到 1.857 N 均方根误差和 0.440 R²值。该成果为变形感知操作提供了实验依据,相关论文已获 IEEE ROBIO 2026 接收。
Helping Hand 是一款双段连续体机器人抓钳,配合电外科刀在单一 3.7 mm 工作通道内实现组织牵引与切割。研究通过在基座开槽让刀具伸出,利用反牵引力完成操作,并在离体鸡大腿上演示了完整的工作流程以验证其在内镜下粘膜剥离术中的潜力。
工业巡检机器人需在从区域到物体的不同空间尺度间进行导航,现有方法因高计算和存储成本难以在无无线覆盖或依赖机载计算的场景部署。本文提出 EMS-Nav 框架,其核心创新是将感知、空间理解与导航围绕“区域”组织,将局部空间作为环境理解和计算的基本单元,构建从局部区域到广域环境的层级结构。