通过联合行动理解人形机器人协作:一项系统综述
该论文对2021年至2026年间发表的83篇关于人机协作的实证文献进行了系统综述。作者遵循PRISMA 2020标准,利用理论驱动的框架分析将现有研究归纳为表征、预测和整合三大能力下的九个构念。
该论文对2021年至2026年间发表的83篇关于人机协作的实证文献进行了系统综述。作者遵循PRISMA 2020标准,利用理论驱动的框架分析将现有研究归纳为表征、预测和整合三大能力下的九个构念。
针对现有移动 GUI 智能体依赖大语言模型逐词解码导致速度慢、显存高的问题,本文提出 GUI-JEPA,这是首个基于联合嵌入预测架构(JEPA)且无需解码器的 GUI 代理策略。
该论文针对在线强化学习中出现的可塑性丧失现象,分析了 Proximal Policy Optimization 算法中策略标准差的影响机制。研究提出了多项表征指标,并在七自由度机械臂上进行了真实部署验证,为缓解 LoP 提供了理论依据与实验基准。
论文提出 The Trinity 框架,旨在解决多模态智能体在构建异构可验证环境和手动迭代方面的瓶颈。该框架通过 Creator、Explorer 和 Evolver 三个角色耦合世界生成与 Harness 进化,将任务组织从表面类别转向共享能力需求,构建了层级化的能力树。
论文介绍 OmniBrain-0,这是一个轻量级统一具身代理模型,旨在协调操作与导航任务。该模型采用共享高层决策架构,结合任务理解、规划及反馈驱动恢复机制。研究提出渐进式训练框架,整合具身预训练、领域专用代理蒸馏及多教师在线策略蒸馏(MOPD),并将 Rubric-Guided Recursive Self-Improvement 数据飞轮引入以持续优化专家模型。
推荐理由:报告提出 OmniBrain-0 统一代理架构,通过渐进式训练与递归自我改进机制整合多模态能力。
针对 VLA 模型泛化受限于动作标注数据的不足,本文提出 ThinkWorld 框架,将动作思考表示为连接当前与未来状态的离散运动序列(Chain-of-Dynamics)。该方法先利用带标注演示初始化,再通过预测未来状态并与观测结果匹配进行强化学习,使无标注视频能提供直接监督。实验在仿真和真实机器人上验证了有效的人机经验迁移及对新任务环境的泛化能力。
EgoThumb 是一款完全开源的视觉驱动超数机械拇指,通过紧凑的双肌腱驱动结构将执行器移至前臂以减轻末端重量。系统利用基于视觉的模仿学习策略,直接将手掌朝向相机的自中心图像映射为连续关节位置,从而解码人类意图并实现跨用户与环境的鲁棒自主操作。所有硬件设计与软件实现均已开源,相关论文已获 IEEE/RSJ IROS 会议接收。
本文介绍了一种针对四旋翼穿越移动窄缝任务的端到端视觉控制策略,该策略直接基于机载视觉和惯性测量输出推力与姿态指令。研究提出可微分移动间隙公式,将稀疏的穿越事件转化为密集的路径目标,无需教师、规划器或蒸馏即可从随机初始化训练。
推荐理由:提出可微分移动间隙公式,实现无需教师或规划的端到端视觉控制策略,在仿真与真实四旋翼上均验证了从随机初始化直接学习动态窄缝穿越的能力。
针对模仿策略在局部区域执行失败的问题,本文提出 Adaptive Residual Correction (ARC) 模块,利用强化学习在冻结策略上学习残差修正,并通过稀疏人工修正确定激活时机、探索空间与最终执行内容。实验显示该方法将三个精细操作任务的平均成功率从 33.3% 提升至 75.0%,且人工修正能定义保留 96.0-97.7% 修正幅度的低维子空间。
针对现有仿真器需先渲染图像再转事件的低效问题,作者提出一种解析式事件相机仿真器,直接利用场景几何与自运动合成事件流,无需视觉渲染。该仿真器在单 GPU 上生成 64x64 事件观测仅需 17 微秒,速度比最先进渲染管线快 400 倍,使目标导向避障的端到端强化学习收敛时间缩短三个数量级(低于 30 分钟)。
推荐理由:提出无需渲染的事件相机仿真器,将强化学习训练速度提升 400 倍并实现端到端策略迁移至真实微型无人机。
该预印本介绍了 StabBot 系统,利用调优后的摆锤卡尔曼滤波在立体图像中跟踪管道关节,结合 ResNet-18 关键点网络定位三维位置,并通过残差强化学习策略优化抓取。
这篇论文提出了 World Dreamer v5-lite 模型,旨在解决多机器人控制需整合分布式相机视图并预测独立动作序列的挑战。该模型围绕共享的世界状态构建,利用预训练视频编码器将校准后的特征填充到工作空间坐标中,保持空间尺寸固定以支持多视角输入。
推荐理由:该预印本提出多机器人共享世界状态架构,在仿真与真实机器人任务中均显著优于基线。
论文提出了 Ego-CEVR 数据原生框架,旨在将低成本的人类第一视角视频转化为机器人操作能力。该框架包含全局模块和交互模块,分别通过未来预测学习物体关系与任务状态,以及结合腕部观测学习局部对齐与接触线索。系统支持在大规模人类第一视角视频及多样化机器人具身视频上独立预训练全局模块,无需机器人动作标签或成对的腕部观测数据。
该研究提出了一种由神经网络控制的固定翼拦截无人机系统,该网络直接将单目视觉观测映射为执行器指令。策略通过自定义 Python 环境中的强化学习和近端策略优化进行训练,并在仿真中与经典引导控制器进行了对比测试。最终该系统在真实飞行场景中成功拦截了机动目标,验证了人工智能在自主控制固定翼拦截无人机方面的潜力。
Alex S. Miller 团队开发了一种使用离散电路组件构建转子的宏观电动场感应电机,成功模拟了深条设计以在宽速度范围内实现更高扭矩。该研究通过 stator 电极诱导可动转子表面电荷,突破了单一连续材料在电阻率、介电常数及电路特性上的限制。论文已提交至 arXiv (arXiv:2610.37452),涵盖机器人学与系统控制领域。
该研究提出 MARL-Exo 框架,通过多智能体强化学习在仿真中同时训练全身体肌肉骨骼模型与双侧髋关节外骨骼策略。策略仅观测延迟的髋部运动学信息,奖励函数包含基于生理学的代谢功率(及可选的机械功塑形)。
推荐理由:该研究展示了通过多智能体强化学习在仿真中与人体模型共适应训练的髋关节外骨骼策略,能在无需针对新用户单独调优的情况下降低代谢成本。
该研究利用事件驱动的脉冲神经网络控制器,解决欠驱动机器人的轨迹跟踪与周期轨道稳定问题。方法将非线性动力学线性化为周期性时变系统,并扩展了原用于 LTI 系统的贪婪李雅普诺夫设计以构建反馈控制器。有效性已在蝴蝶机器人(butterfly robot)的轨迹稳定任务中得到验证。
论文介绍 Retrieve to Act (R2A) 测试时扩展框架,将分布外鲁棒性问题转化为几何运动原语检索问题。该方法构建离线时空运动原语图,利用查询依赖的图神经网络在推理时动态定位并检索兼容的未来运动原语,通过门控机制与冻结 VLA 预测动作融合,修正错误轨迹同时保持局部反应性。
针对强化学习策略在长时序中信息丢失问题,该工作提出基于 Hadamard 记忆的本地空间矩阵记忆(LSMM)架构。实验显示,LSMM 在自主迷宫探索任务中匹配了强基线的覆盖率,且是唯一能记住迷宫布局的架构,将重建误差降低了三倍。
针对月球低重力环境下的双足机器人设计问题,研究提出一种双层协同设计框架:外层通过差分进化搜索连杆长度,内层对比基于二次规划的任务空间控制器与直接配点法轨迹优化。
论文介绍 RAVEN,这是一个针对四旋翼无人机的统一主动 SLAM 框架,旨在解决未知环境下的快速自主视觉探索与高定位精度之间的平衡问题。该系统通过识别前沿和主动闭环候选点生成全局巡游方案,并利用效用向量量化探索效率与定位精度,最终根据优先级参数选择最优路径。
该论文提出一种针对搭载于航天器的混合软刚体机械臂的状态重构管线,其中远端连杆为腱驱动连续体机器人。问题被建模为基于关节编码器离散噪声测量和视觉感知管线的最大后验推理,并通过因子图转录以融合异构测量与刚柔运动学模型。
这篇预印本论文介绍了一种用于全电动重型机器人操纵器的结构 - 驱动协同设计的混合离散连续多目标双层框架。上层优化机械臂几何形状和驱动拓扑,下层针对每个关节搜索可行的电机、减速器和螺杆配置档案。
论文提出 Omni-IGN,这是一个完全机载的图像目标导航系统,整合了四路鱼眼感知、注意力强化学习策略和碰撞安全层。系统在 Habitat 基准上优于连续动作基线,IsaacSim 飞行测试验证了结合学习型深度估计与安全层的避障有效性,真实世界实验实现了无需微调的外部定位零样本迁移。代码与模型检查点将在接收后发布。
该研究提出利用符号摩擦距离度量力空间中的摩擦边距,并将其嵌入二阶锥规划(SOCP)序列以平衡物体并远离名义摩擦边界。实验表明,在物体属性变化及模型失配条件下,该方法相比固定边距或无边距策略均能成功执行双足非抓持操作。论文已被 IEEE Robotics and Automation Letters 接收,arXiv 版本为 v1。
针对冻结或不可访问的机器人基础模型策略,该方法通过结构化代理分离步态周期以指导输入修复。在仿真 Go2 平台上,离线诊断将行走成功率从 259/640 提升至 429/640,在线修复达 382/640 且未触发故障集外的误报。研究结果目前仅基于单一策略和部分筛选的仿真故障集,硬件验证与通用性仍待开放。
Trace-WAM 是一种世界动作模型(WAM),旨在通过耦合未来视觉预测与动作生成来学习机器人控制表示。该方法引入未来 3D 运动预测作为辅助目标,监督时间点对应、图像平面位移和深度变化以描述操作动力学。
该论文针对人形机器人在不连续地形上的运动控制问题,提出 HC2Robot 框架以解决感知驱动策略中训练端拥有仿真特权信号而部署端仅依赖车载感知的信息不对称。
论文提出 TAPESTRY 方法,通过 Tokenizing Actions as Video Patches in a Shared Transformer Policy,将预训练视频扩散模型复用于机器人控制策略,无需在推理时进行资源密集的视频生成。
推荐理由:该工作将预训练视频扩散模型复用于机器人策略,无需推理时生成视频即可输出动作序列。
该研究为 2027 年 NASA 人类探索漫游车挑战赛高中组开发了一套集成设计评估方案,结合商业差速控制与树莓派子系统执行成像及测距指令。在估算质量 10.919 kg 条件下,理论滚动速度达 8.105 km/h,需至少 1.255 N·m/轮扭矩以应对 20 度爬坡。通过合成基准测试验证了颜色几何规则与线性支持向量分类器在 2,400 张生成板上的表现,但未报告物理漫游车实测结果。
针对生物启发式磁导航(BIMN)中地磁场坐标无法一一对应地理位置的模糊性挑战,研究提出将 BIMN 建模为梯度流控制问题。实验表明,在地球预定义区域内,利用磁倾角和强度的梯度流可充当引导电流,控制系统经中间航点被导向目标目的地。该框架提供了无 GPS 导航机制,适用于工程建立地磁基础设施及生物学分析迁徙路线。
论文提出了 RynnWorld-Latent,这是一个利用 3D-grounded latent actions 作为共享条件接口的跨具身视频世界模型。该模型在预训练阶段联合使用了人类交互视频、机器人演示和仿真 rollout,无需统一的原生动作空间。
推荐理由:该工作提出基于通用潜在动作的跨具身世界模型,支持在人类视频与机器人演示上联合预训练,并验证了其在真实机器人上的策略成功率提升。
论文提出一种可审计的自驱动实验室(SDL)统一框架,包含四个核心组件:LAM 用于生成连续机器人轨迹和仪器 API 调用;OpenSDL 作为执行底层映射异构设备并记录因果事件;Safe-SDL 运行时门控结合预调度检查与信号时序逻辑监控;L3-Bench 定义涵盖物理结果、安全性及故障恢复的评估协议。该框架旨在解决 SDL 工作流中的协调性与可追溯性挑战,目前为 arXiv 预印本状态。
该研究提出一种让两辆个人移动车辆(PMV)进行侧向协同自主运动的方法。系统基于全局路径规划合作队形以方便乘客交谈,同时确保安全平稳。每辆车运行独立的采样模型预测规划器,仅交换观测到的里程计信息,联合决策通过公共规则解析效用矩阵。
该论文通过砂光案例研究,结合仿真与两台轻量级无驱动轮式测试床实验,揭示了持续接触下非刚性底盘行为对任务执行的影响。在低底盘 - 地面阻力条件下,仅能实现 100 N 指令力的 54%-70%,工具中心点误差高达 100 mm;增加阻力可改善力实现并抑制位移,但底盘振动与力跟踪误差无一致关联。研究强调了联合考察力、运动与振动以表征轻量级移动操作的重要性。
该论文提出 TOPS(Task-Oriented Priors and Schedules)方法,针对语言条件化的多任务机器人操纵问题,通过构建多模态任务源并调整去噪过程中的插值调度来适应不同运动需求。
推荐理由:TOPS 方法通过调整流源先验与插值调度,在无需修改网络架构下提升多任务机器人操作的成功率与推理效率。
针对双臂机器人操作演示采集成本高且单臂数据难以直接迁移的问题,论文提出 RoboSTD 方法。该方法首先对观测、本体感知及动作进行矢状面镜像处理以构建可执行的伪双侧演示,随后利用大语言模型生成结构化的时空协调约束,指导在工作空间区域与任务阶段的重建监督信号。
SWIM 提出一种利用逆动力学模型从离线轨迹中学习状态权重的方法,解决联合嵌入预测架构(JEPA)中视觉目标未显式融合任务相关状态信息的问题。该方法在五个机器人操作仿真任务中,相比均匀加权基线一致提升了基于图像的规划成功率,且无需额外推理计算。论文为预印本,代码与权重暂未开放。
论文提出 Motion-Guided Asymmetric Prediction (MoGAP) 方法,旨在通过联合预测未来视觉观测和动作来适配预训练视频生成模型以用于机器人控制。
论文提出HumiTransfer框架,旨在保留人类互动中的空间、语义及接触关系(如拥抱、握手),并将这些关系迁移至不同形态的人形机器人上。该方法先重建3D人体运动,再通过加权关节相对方向和解剖偏移优化接触关键关系,最后通过后重定向优化确保平衡与避障。