OxyGen:面向多任务并行的 VLA 统一 KV Cache 管理方案
针对具身智能体在端侧并行执行操作、对话与记忆构建等多任务时面临的冗余计算与资源争用问题,本文提出 OxyGen 统一 KV Cache 管理设计。该方案将 KV Cache 视为跨任务与控制周期的共享资源,通过跨任务 KV 缓存共享消除重复预填充,并利用跨帧连续批处理优化解码预算。
针对具身智能体在端侧并行执行操作、对话与记忆构建等多任务时面临的冗余计算与资源争用问题,本文提出 OxyGen 统一 KV Cache 管理设计。该方案将 KV Cache 视为跨任务与控制周期的共享资源,通过跨任务 KV 缓存共享消除重复预填充,并利用跨帧连续批处理优化解码预算。
论文提出 HERO 框架,旨在解决任意野外物体的视觉位姿操作难题。核心创新在于结合经典机器人学与机器学习,构建残差感知的末端执行器跟踪策略。系统利用逆运动学转换目标轨迹、学习神经前向模型实现高精度正运动学,并支持目标调整与重规划。
这篇论文介绍了一种名为 Learning From a Steady Hand 的框架,旨在解决显微镜引导下的机器人精细操作问题。该研究采用弱监督学习范式,融合感知校准与导纳控制,利用可复用的预热轨迹提取隐式空间信息,从而在无需外部标记物或逐帧手动深度标注的情况下实现具有深度解析能力的感知。
该论文提出了 SKATER 方法,通过在类人机器人每只脚安装四个被动轮并设计特定的轮滑摆动步态(swizzle gait),利用身体惯性实现快速连续滑动。研究开发了基于内在特性的奖励函数深度强化学习控制框架,先在仿真中分析策略,后部署到物理机器人验证。
CoWear 提供包含超 30 名参与者、超 300 次行走会话及超 30 小时/100 公里轨迹的智能手机、智能手表和智能眼镜协同惯性定位数据集。该框架通过训练角色特定估计器预测公共参考设备位移,并利用陀螺仪积分转换至世界坐标系融合不确定性。实验表明,相比单设备估计,多设备融合在位移与轨迹展开精度上均持续提升,为异构消费级穿戴设备的协同研究提供可复现基线。
论文介绍 PingpongDuo 框架,通过团队级规划器联合选择站位并利用风险估计过滤危险提案以保护当前击球者,个体级结合步法与挥拍技能实现快速移动与精准控制。在仿真中相比最先进基线提升 13.2% 的接球成功率且定位误差约 2 厘米;实机实验中单机器人完成 2.15 米往返周期耗时 2.4 秒,峰值速度 2.23 米/秒,两台机器人能维持超过 10 次严格交替击球。
论文提出了 KinoGen 框架,通过结合预训练视频生成器与目标机器人及物体的校准渲染,在无需人体代理或重定向的情况下合成符合机器人构型空间的行走与操作参考。该方法利用身体、手部及物体先验初始化重建,并通过跨视图证据直接优化细化结果。
作者发布 EarlyCommit 开源工具,支持机器人在语音指令进行中实时计算物体置信度并提前执行。系统包含流式语音前端、带精确词级真值的场景生成器及训练校准脚本。在未见词汇测试中,其正确率是关键词匹配的 1.6 至 2 倍;当阈值设为 0.9 时准确率不低于 92%,每词处理耗时 31 至 35 毫秒。
该论文提出 Graph-Reweighted Behavior Cloning (GR-BC) 框架,用于解决长程精确操作中混合质量数据的利用问题。方法构建任务条件化的目标可达性图,通过反向图搜索计算剩余步数并据此对动作片段进行后果加权,从而复用失败轨迹中的可恢复段并将人类干预作为恢复路径。
推荐理由:提出图重加权行为克隆框架,利用人类干预数据提升长程操作成功率。
针对复杂动态环境中长视界多臂任务的安全在线执行难题,本文提出一种新的分布式动态高斯信念传播(DD-GBP)方法。该方法通过并行局部推理直接规划关节空间轨迹,利用统一的高斯过程参数化连接自适应规划视界、插值时间因子与连续执行。
推荐理由:提出分布式动态高斯信念传播方法,在四臂多目标动态场景中实现 92.5% 无碰撞完成率,并具备实时性与抗通信干扰能力。
AutoRSR 是一个高度自动化的实境转仿真再转实境框架,能将扫描的真实工作空间转换为可复用的具身仿真资产和可扩展的操作数据。给定多视角观测、机器人状态及开放词汇语义查询,该框架重构工作空间并提取物体资产,自动将重建场景注册到机器人基座标系。
作者发布了 TacClaw-Infinity,这是一个针对接触丰富操作任务的大规模结构化 VTLA 数据集。数据通过分布式采集获得,涵盖家庭、实验室及工业场景,包含超过 10,000 小时视频、100 万集数和 10 亿帧画面,涉及千余种任务类型。研究团队开发了可扩展的轨迹重建与多模态质量控制流程,并验证了该数据集在三种异构机器人上的跨本体迁移能力,证明其无需特定机器人演示即可支持模型训练。
推荐理由:该工作发布了一个大规模触觉 - 视觉 - 语言 - 动作数据集,支持跨本体迁移且无需特定机器人演示。
针对现有视觉语言动作模型依赖图像级表征且缺乏细粒度物体理解的问题,该研究提出了 ObjDream 框架。该方法利用时空物体编码器将观测组织为时间槽,并通过身份引导的路由机制调制注意力;同时引入动作条件的对象动力学模块预测紧凑的未来状态以监督演化过程。
该研究针对扫地机器人在尺寸、成本和耐用性限制下扩展功能的需求,提出了一种两阶段可展开连杆机制。该机制利用内部三连杆子链接近共线奇异构型的几何特性实现自锁,仅需单个执行器即可完成部署与锁定,被动触发器释放锁定以进行收缩,第二个执行器仅调整部署高度。
该论文回顾了触觉感知在机器人灵巧操作中的核心作用转变,即从接触检测与反应控制转向支持可迁移表征学习与物理推理。文章按学习与控制流程的功能角色,系统考察了触觉表征、策略学习、基础模型、预测自适应控制及跨对象任务传感器实体和仿真到现实的泛化能力,并总结了设计原则与剩余挑战。材料为 arXiv 预印本综述,附带相关文献数据库资源链接。
论文 FoveaVLA 提出一种视觉语言动作模型,通过预测交互区域的注视动作来替代腕部相机,从而在保持全局视野的同时恢复操作所需的细节。该模型基于 pi_0.5 构建,支持单目或双目外部立体相机输入,并在 DROID 上后训练。
推荐理由:该工作提出用预测的注视区域裁剪替代腕部相机,在单目和双目配置下均提升了真实世界任务成功率。
针对上肢受伤人员重返职场场景,研究提出一种主动感知框架,使协作机器人在共享工作空间中无需外部临床评估即可自主估计任务相关的用户上肢活动范围。该方法将关节活动度限制建模为损伤系数,并通过重复的人机交接请求在线更新贝叶斯信念,从而在交互中持续修正对用户关节能力的内部模型。研究通过仿真及搭载真实人类损伤的机器人平台验证了该管线能准确恢复损伤系数的能力。
FOMI 是一种无需力传感器的剪刀形力反馈操纵接口,通过执行器连杆将物体交互力直接传递至操作者手部,支持免机器人演示采集时的实时动作调整及遥操作。该系统集成了传感器标定、数据采集与同步功能,并在四个接触丰富任务中分别使免机器人采集和遥操作的效率较最佳基线提升约 29% 和 18%,所采集的演示数据能训练出高成功率的策略以完成挑战性接触丰富操纵任务。
针对连续体机器人驱动系统定制性强、复用性低的问题,本文提出一种将驱动硬件与软件从机器人设计解耦的统一平台。该平台支持模块化驱动、大规模自由度扩展以及与常规串联机械臂的混合架构集成。
论文提出 RAIN(Refine Actions If Needed)框架,旨在结合轻量级策略的低延迟与迭代生成策略的高成功率优势。该方法通过集成模型预测不同细化层级的动作误差,从而在无需显式标签的情况下决定是否需要及如何对可执行提案进行细化。
针对现有双臂 VLA 策略将左右臂动作隐式拼接的问题,本文提出 Coordi-$\pi$,将左右臂动作作为独立 token 交织排列,并通过可学习的手部身份嵌入与解耦的位置编码显式表达手部身份与时序同步。在 DexJoCo 五个任务及四个真实世界任务中,该方法平均成功率较基线提升显著。
本文介绍 ACRO,这是一个为固定视觉语言动作(VLA)策略设计的演员 - 评论家滚动编排层,旨在决定何时继续尝试以及何时进行干预以提升成功率。该方法利用从策略滚动中学习的评论家评估成功前景以选择干预时机和重入目标,并通过轨迹回缩将机器人快速返回至该目标,使 VLA 能从新观测重新开始执行。
推荐理由:提出 ACRO 层在固定 VLA 策略上通过轨迹回缩与干预决策提升成功率,实验覆盖仿真与真实机器人。
该工作通过两阶段开发过程研究了物体目标导航问题,提出了 F2A-ObjectNav 自适应代理架构。第一阶段使用固定模块化框架发现不同配置在不同条件下存在性能与成本的权衡;第二阶段引入基于规则的监督器协调导航、检测、验证等组件,利用事件驱动恢复和条件语义引导实现轻量级执行。
ICMC 将参数指定、指令生成与代码合成分离,使 UR5e 机械臂在 MuJoCo 仿真中执行结果可追溯至程序。相比 o1/o4-mini 的一次性生成,该方法通过 GRPO 训练出开放权重的指令策略,在方块放置任务上将正奖励率从 31.6% 提升至 35.3%。研究引入独立评估协议以区分控制与成功判定,确保结果可复现且未宣称真实部署或量产能力。
论文提出 PolyMorph 框架,将机器人 URDF 转换为关节连杆模块,结合循环编码器、基于图的 Transformer 和每关节解码器,生成适用于不同腿数和关节配置的单一运动策略。
推荐理由:PolyMorph 框架通过形态归一化奖励与图 Transformer,实现单策略跨双足、三足及四足机器人的通用迁移。
ForceBench 是一个用于评估六轴腕部力反馈集成的仿真基准,包含八个涵盖物理属性推断、阻力依赖交互及接触丰富装配的任务,并配有 1,600 次同步演示。研究在共享 backbone 上对比了无基线及六种集成设计,发现 Prompt Fusion 在仿真中平均成功率最高(35.31%),真实世界评估显示其所有任务均优于基线。
2026 全球开发者先锋大会将于 10 月 23 日至 25 日在上海浦东举办,聚焦“真机实景、实景实训”目标。大会将千台机器人同台亮相并拆解为可复用技能包,覆盖上下料搬运等十余种真实场景。超万台机器人已入驻张江人工智能创新小镇,赛事将科学评估作业成功率与效率提升率,推动具身智能向万台级落地迈进。
针对视觉语言动作(VLA)模型在长程移动操作中成功率骤降的问题,本文系统诊断了任务规划、导航定位及局部操作三大失效瓶颈,并提出失败引导的智能体干预方案。该方案通过演示规划指导、自适应视觉记忆、无障碍基座调整及末端执行器微调,将 RoboCasa365 基准的成功率从 19% 提升至 47%,在 BEHAVIOR-1K 和真机任务中亦取得显著改善。代码将于 arXiv 链接处发布。
该研究提出了 RoboSpan 平台及分层模块化框架(HMF),旨在解决全身移动操作中的运动异质性与误差累积问题。方法将 29 自由度动作空间解耦为手部精细操作、臂部姿态调整与移动基座空间配置分支,并引入协同模块具身 Transformer(COMET)实现跨模块信息交互。
该研究提出一种针对桌面擦拭的双臂协作规划框架,旨在解决表面清洁中散落物体的遮挡问题。不同于传统仅覆盖自由区域并绕行障碍物的策略,该方法明确分配一只手臂进行物体重排,另一只执行覆盖式擦拭,从而访问先前受阻区域。
推荐理由:提出双臂协作框架,通过几何感知任务规划与运动优化,在存在散落物体时显著提升擦拭覆盖率与效率。
针对多指灵巧手在执行任务时依赖精确接触、协同运动及错误恢复的难点,论文提出 HiFun 分层强化学习框架。该方法将控制复杂度解耦为负责精确接触的‘功能手技能’和负责臂控与激活技能的‘臂手协调策略’。
推荐理由:提出分层强化学习框架 HiFun,通过解耦手技能与臂手协调策略,在两个灵巧手上实现 98.3% 平均成功率。
该系统结合异步双模式命令映射与无传感器交互估计,支持速度控制导航及位置驱动增量操作。测试证实三档速度与位置模式下指令分发特征各异,混合场景导航中交互响应随导丝弯曲而升高。初步研究显示,15 名新手经训练后物理拟真任务成功率从 53.3% 升至 93.3%,平均完成时间由 132.4 秒降至 96.7 秒。
该技术针对增材制造液压歧管等永久占用流体管的场景,从固定路由拓扑出发对管路中心线进行几何细化。在包含 8 组×8 终端且胶囊间隙为 2 的测试套件中,方法实现了全硬接受成功、曲率半径比小于等于 1,并使软目标相对下降约 95%。研究将基于物理的压力降优化推迟至后续偏微分方程阶段,当前目标仅保留几何属性。
该系统连接真实主控制器与 SOFA 物理仿真平台,在血管介入物理体模实验中验证了主从控制回路可靠性。相比无引导条件,成功轨迹引导将任务完成时间、碰撞数、回退数和旋转数分别降低约 66.8%、34.3%、55.6% 和 66.7%,为机器人血管介入提供有效视觉辅助策略。论文已提交 IEEE 期刊待审,代码与数据暂未开放。
针对现有全身跟踪器难以兼顾动作意图与表达性特征的不足,本文提出一种残差学习框架,通过补偿幅度、能量、身体扩张等指标来保留动态与姿态特征。方法采用运动感知门控分配修正容量,并将各冻结跟踪器的特定策略蒸馏为统一策略。在 Unitree G1 机器人上进行的八类动作仿真与物理实验表明,该方法优于对应基线。
论文提出 Keypoint Constraint Learning (KCL) 框架,旨在从 RGB-D 观察中通过分割、特征聚类和点跟踪提取稀疏 3D 物体中心关键点及语义掩码质心作为演示表示。
针对机器人拆解末态产品需适应变异、遵循先决序列及精确接触的挑战,现有监督微调数据难以覆盖环境变化与不确定性。本文提出 PACER 框架,利用策略自身的尝试记录与人类的错误修正经验,通过基于进度和来源/结果的证据重加权机制优化 SFT 损失。该方法在 UR5e 母板上五类组件的拆解基准测试中,成功接近并移交次数达到 87/100,优于普通监督微调后的 54/100。
现有仿生下肢假肢控制器通常针对离散的运动模式(如平地、斜坡和楼梯)进行独立参数化设计。本文提出了一种统一的假肢控制框架,将膝踝生物力学表示为地形坡度和步态相位的连续函数。
FACT 是一种用于灵巧操作的多模态基础模型,通过级联前瞻性视觉规划与力觉感知细化来提升表现。该模型包含两个联合训练组件:Track-Guided Coarse Planner 预测动作、未来视频和视觉轨迹;Force-Action Joint Refiner 在粗粒度计划基础上联合预测未来力并细化动作。
针对不同具身形态导致的状态转移动态不兼容问题,论文提出 PACE 两阶段框架:第一阶段利用离线轨迹预训练提取任务级上下文,第二阶段引入预测动力学适配器作为潜在正则器,在保持实时推理的同时将策略锚定在执行机器人的转移行为上。