Embodied Task Agents 通过触觉上下文学习实现精细操作
Tactile-ETA 系统在不更新模型参数下,利用触觉经验让智能体在四个仿真任务中将平均成功率从 15.75% 提升至 24.00%,并在真实机器人上使对齐视觉与触觉的演示将成功率从 0% 提至 60%。该研究证明无需特定任务训练即可通过触觉上下文学习实现精细操作,且性能高度依赖演示内容的感官表征。
Tactile-ETA 系统在不更新模型参数下,利用触觉经验让智能体在四个仿真任务中将平均成功率从 15.75% 提升至 24.00%,并在真实机器人上使对齐视觉与触觉的演示将成功率从 0% 提至 60%。该研究证明无需特定任务训练即可通过触觉上下文学习实现精细操作,且性能高度依赖演示内容的感官表征。
本文介绍了 THERMO 算法,这是一种利用实时热成像数据进行速度优化的闭环控制方法,旨在减少电外科手术中的热损伤并确保准确的切缘。研究在离体猪组织上进行了测试,结果显示该算法无需数据驱动训练或迭代调优,相比两种固定速度基准方法,将热损伤减少了高达 52%,提高了切缘精度高达 59%,同时保持了任务完成速度。论文已提交至 IEEE Access,属于预印本状态。
针对异构多机器人任务分配中任务适用性定义差异问题,研究对比了涵盖规则、相似度及语义等方法的十种确定性算法与两种大语言模型变体。实验发现尽管面对相同场景,各方法在评分排名与可行性识别上常存在分歧,且通用相似度度量可能违背单侧需求满足预期,LLM 打分则引入额外随机性与语言敏感性。结果证实任务适用性应作为显式建模选择,需在分配前考量其假设、鲁棒性及决策后果。
针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。
推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。
本文提出了一种利用波士顿动力 Spot 四足机器人及机械臂进行自主砖块堆叠的概念验证系统。该系统通过 AprilTag 进行定位并利用自动行走任务导航,在 CAD 软件中指定目标位置后直接执行。
针对受扰环境中四旋翼飞行的可靠性问题,本文提出了一种扰动感知的 Koopman 控制家族(DA-KCF)框架。该方法在离线阶段基于仿真数据学习参考依赖的 KCF 并利用有限硬件数据进行校准,部署时固定名义模型并在线通过轻量级残差集成学习低维扰动修正。
论文指出当前视频生成模型常忽略指令动作,归因于训练数据缺乏足够的动作影响力。作者提出 AIM 算法用于主动收集高影响力的训练数据,在模拟导航和操作任务中验证了其优于探索启发式方法的性能与数据效率。在像素操作领域,该方法仅需 500 集主动采集即可达到 30 万专家演示模型的控制能力,实现 85 倍的数据减少。材料为预印本版本,未提及同行评审状态或具体部署结果。
该研究指出前沿模型在通过代理 harness 控制机器人时存在安全隐患,即便面对常识性危险(如将刀放入玩具篮)也会尝试执行且从不引用风险。作者提出一种可选的运行时安全检查方法:在执行首次动作前,利用相同相机帧询问模型是否会执行指令。
推荐理由:作者提出一种运行时安全检查机制,通过在动作执行前询问模型是否应执行指令来拦截有害操作。
针对神经影像等医疗场景,该研究利用集成实时光学追踪的 6DoF Stewart 平台机器人,通过志愿者实验表征头颈系统生物运动学工作空间。研究旨在建立无物理束缚下的动态补偿机制所需的人机交互安全极限数据,为替代传统侵入式固定方法提供基础依据。
该研究提出一种四足气动腿式机器人,利用统一控制框架结合离线搜索的领域专用收缩度指标与在线能量型 CLF QP,实现了行走与飞行的最优跨域控制分配。仿真验证了机械可行性及喷气辅助小跑范式,实验结果证实了硬件机械有效性并推动了多模态操作控制框架的部署。
针对视觉语言动作(VLA)模型对视觉干扰敏感但难以判断去除干扰是否有益的问题,提出一种无需成对策略回滚的因子化风险模型。该方法通过潜在干预从当前图像和任务指令中估计去除收益,在 OpenVLA 与 pi_0.5 仿真及 Franka 机器人上验证了优于单体模型和视觉语言模型基线的效果,误差约为前沿 VLM 的三分之一,并支持在线故障监控。
推荐理由:提出一种无需成对数据即可估计去除图像噪声收益的因子化风险模型,在仿真与硬件上优于基线。
论文介绍了 XoNav 四执行器髋关节外骨骼,利用双股 LSTM 步态分类器在行走时同步提供前进、制动与转向触觉提示,站立时抑制信号。通过闭环贝叶斯优化实现个性化参数调整,确保舒适性与安全性。盲测导航实验显示受试者行进距离保持在通道内比例达 98.8%,平均速度提升 4.9%。系统还结合体载相机与 RTAB-Map 实现了自主导航及未知障碍物绕行演示。
EmbodyHOI 提出一种在采样循环内运行特定人形机器人可微逆运动学求解器的方法,将机器人可达性约束直接融入手物交互轨迹的生成过程。该方法通过反馈梯度联合优化机器人与物体的相对位置,使得基于人类手部姿态训练的模型无需重新训练即可跨不同人形机器人架构迁移。
针对现有扩散策略训练目标未鼓励因子专业化导致预测平均化的问题,研究提出一种基于投影组合理论的 drop-in score-decorrelation 辅助损失。该方法通过直接惩罚组件噪声预测间的重叠,在几乎无架构改动或计算开销的情况下,显著降低了组件间的双重计数并改善了任务分解。实验表明,该策略在多基准测试中实现了行为上有意义的专业化,同时保持了多任务性能不下降。
该方法使搭载摄像头的半自主机器人能通过视觉大语言模型将鞋盒任务照片转化为 PDDL 表示并生成行动计划。系统已集成至 Nao 机器人,可自主执行任务并通过动作演示、语音或手势提示下一步骤或信号故障。无需编程知识即可由教师使用,旨在强化自闭症学生机器人辅助教学机会并激发其对机器人的兴趣。
针对非合作目标的自主在轨服务,该研究提出基于嵌入式电容传感的实时交互感知框架,将粘附生命周期划分为空闲、接近、接触等五种离散状态。离线测试中随机森林模型分类准确率达 95.65%,在线部署结合规则机后准确率提升至 93.14% 且推理周期为 53ms。物理一致的状态约束显著增强了实时推理鲁棒性,为未来自主在轨捕获任务奠定基础。
研究团队推出 Embodied Playground,这是一个评估基础模型代理在长周期任务中协调物理、战略及空间推理能力的基准。该基准包含涵盖基础操作、顺序谜题和多阶段家务活动的 410 个环境,并精选出 EP-100 代表集(含 EP-Easy/EP-Hard 难度划分)及 EP-20 紧凑子集。
针对具身视觉语言模型在执行复杂操作时出现错误导致环境状态异常的问题,本文提出 ERR-Env 环境与 ERR-Bench 基准,用于评估任务进展与执行可靠性。研究提出了结合任务进度奖励、错误状态奖励及动作分组优势估计的在线强化学习方法 AGT-GSPO,并训练出紧凑的 2B 参数具身 VLM(ERR-VLM)。
DexGraspFlow 是一种条件链接级 SE(3) 流匹配框架,整合几何关系与运动学拓扑以解决跨具身灵巧抓取生成的挑战。该模型通过双流 DiT 建模链接间协调及链接 - 物体交互,利用运动学树距离的注意力偏差提供结构信息,联合学习平移和旋转速度场并生成关节配置。
该方法利用稀疏非线性动力学识别技术,从飞行数据中学习显式的物理约束控制效能映射模型。相比高保真在线模型或黑盒驱动方案,该模型在保持相当精度的同时大幅降低计算成本,并支持解析导数以适配包含执行器动力学的非线性求解器。系统还具备在线适应机制,能在检测到显著植物变化时刷新模型,从而在执行器故障及变工况下实现优雅重构与容错控制。
论文提出 RE-SAC 框架,旨在解决标准深度强化学习算法在处理随机交通和乘客需求时因混淆两种不确定性而导致的 Q 值不稳定问题。该方法利用基于积分概率度量的权重正则化来对冲不可约噪声风险,并提供平滑的分析下界;同时通过多样化 Q-集成惩罚稀疏覆盖区域中的过度自信估计以应对数据不足风险。
论文提出 UniW(A)M,这是一种基于扩散 Transformer 的混合专家世界模型框架,旨在统一动作条件化的世界建模与多种世界 - 动作模型变体。共享专家捕捉通用动力学,原子能力专家跨接口复用,部署时通过插件自适应接口路由器(PAIR)选择合适接口以平衡任务成功率和执行效率,同时保持骨干网络冻结。
推荐理由:该工作提出统一混合专家框架,在真实操作任务中成功率提升 11.6%,并实现跨接口能力复用。
针对高速球类运动对人形机器人提出的时间关键决策、精准击打及全身协调挑战,本文提出一种三阶段分层强化学习框架以解决可用羽毛球参考数据稀缺且不完美的难题。首先通过任务随机化动作增强将稀疏标注的击打事件扩展为可执行的连续潜在技能空间;其次由高层规划器根据观察到的球的状态在线组合这些技能;最后利用上下文条件对抗正则化器鼓励更自然的技能使用同时保持回球性能。
推荐理由:提出三阶段分层强化学习框架,利用有限人类数据实现人形机器人在真实世界与人类进行包含跳跃救球的多技能多回合对抗。
针对收集机器人手物交互数据成本高且具身特定的问题,本文提出 RoboEdit 人机视频编辑套件,可将人类操作视频转化为动作一致、物理合理且手部状态对齐的机器人视频。
推荐理由:提出 RoboEdit 工具链与数据集,将海量人类操作视频转化为物理合理的机器人训练数据。
论文提出 MiDAS 方法,旨在解决预训练策略在新任务上零样本表现不佳的问题。核心发现是单个演示足以引导行为先验实现粗略的任务跟随,而通过冻结 VLA 表示进行基于价值的残差学习、以及精细的数据平衡,可将此粗糙能力转化为可靠的成功。实验在 LIBERO 和 RoboCasa 数据集及双臂 YAM 平台上验证了该方法能从仅偶尔成功的初始策略出发,经过数小时在线交互显著提升任务成功率。
该研究针对机器人模仿学习中的时序相位错配问题,提出了 TRACT 方法,将相位结构化动作块分解为当前接受相位与未来视界内的单一边界。通过任务局部图约束时间相位权威,并引入因果响应赤字积分器处理接触执行中的补偿与恢复。
推荐理由:论文提出 TRACT 方法解决机器人模仿学习中时序相位错配问题,在六款真实机器人上实现全序列成功与零停滞。
MIRA 是一种专为室内研究设计的模块化微型无人机,采用可复制的 3D 打印 PLA 机身和可拆卸机臂,并封装了基于 Micro XRCE-DDS 的低层软件包以管理从伴飞计算机到自动驾驶仪的通信桥接。
Dec-MARVEL 是一种无需通信的分布式多无人机探索策略,能在有限移动预算内联合选择航点与观测方向。该策略在 900 次独立测试中,于最紧 720 米预算下使 2、4、8 机队的成功率分别达 46%、84% 和 94%,显著优于最强基线。物理机器人实验证实生成的航点计划可执行且符合预算约束。
论文提出 GemNav,一种将机器人局部航点坐标表示为离散度量值分数的概率分布并软解码为连续坐标执行的视觉导航策略。该方法利用度量距离目标采样构建训练轨迹,仅需 8.7 小时 SCAND 公开数据集即可训练,在未见环境和三种物理不同的机器人平台上实现了无需重新训练的跨平台迁移,且相比基于帧的采样和连续回归头展现了更可靠的避障与分布外泛化能力。
论文提出 GROW$^2$ 方法,利用物体部件作为自然抽象,将机器人工具使用的开放世界语义 grounding 分层为语义与几何两个层级:语义层借助 VLM 常识推理解析指令并选择合适工具及关键部位;几何层通过视觉基础模型从单张 RGB-D 图像定位精确的 3D 区域。
推荐理由:该方法利用 VLM 语义推理与视觉基础模型的几何定位分层解决开放世界工具使用问题,在仿真与真实机器人实验中均优于基线。
针对语言条件化操作系统难以区分任务变化与观测变化的问题,本文提出了 Sequential Planning via Anchored Robotic Keypoints (SPARK)。
本文研究了如何将针对文本域的智能体架构搜索(AAS)技术迁移至感知具身智能体领域。作者引入了 AgentCanvas 作为可编辑的有类型图表示,支持仿真执行与日志记录;将优化器从大语言模型调用循环升级为利用工具的编码智能体会话,并提出了知识蒸馏循环(KDLoop)。
针对多任务机器人操作中单一网络难以从演示分布中区分不同动作模式的挑战,本文提出 VQActFlow 方法。该方法将连续动作分块并离散化为学习到的码本序列,利用变分流匹配生成代码序列,并在推理阶段通过语言条件分类器自由引导和码本评论家提供的可行性信号来引导模式承诺。
EDITH 是一个机器人框架,通过智能眼镜实时流式传输人类的第一人称视角、视线及语音(转录为语言指令),利用分层策略将高层意图推断与子任务序列生成相结合。实验表明,即使人类仅短暂表达非语言信号,该框架也能让机器人据此行动,显著降低用户传达意图的 effort。
针对预训练视觉语言模型语义空间与具身控制策略的结构不匹配问题,本文提出 AffordanceVLA 框架。该框架引入结构化机会学习作为任务导向和对象中心的中间表示,通过 Which2Act、Where2Act 和 How2Act 三个互补组件建立精确的感知 - 动作映射。
针对现有视觉语言动作(VLA)策略仅基于当前观测进行反应式操作、缺乏未来动态建模的局限,本文提出 ELAN4D 框架。该方法利用本体感知状态的正运动学推导机器人关键点(如关节和末端执行器)的三维位移轨迹,将其作为预测性的时空监督信号注入动作专家分支,同时通过梯度隔离保留预训练的视觉语言主干网络。
针对通用机器人操作模型难以泛化到未见任务的挑战,该研究提出 VLA-Pro 框架,通过在训练阶段存储任务特定的 LoRA 适配器作为程序性记忆,并在推理时根据多模态上下文检索并动态融合这些记忆以生成动作。
针对多模态大模型在多机器人协作空间推理上的不足,本文提出首个基准 CoopSR 及数据集 EgoTeam,涵盖合成环境与真实四足机器人测试集。作者构建了 SG-CoR 框架,通过动态帧采样与几何引导视图融合实现细粒度协作推理,在 Habitat 和 iGibson 上显著优于最强微调基线,并支持未见团队规模泛化。代码已开源。
针对现有模仿学习缺乏显式子目标监督导致难以协调多阶段任务的局限,该工作提出 SADP 框架,利用基础模型自主生成带子目标标注的演示数据,并训练扩散策略。方法通过任务级与子目标级描述联合条件化动作生成,并利用轻量辅助头预测续写分数以驱动在线子目标切换及进度监控。
该研究针对现有端到端导航策略在远距离或跨房间场景中易迷失的问题,提出分层推理导航框架。该方法利用视觉语言模型生成高层短视域规划(如通过门还是走走廊),再由在线强化学习策略执行低层动作,并引入游荡抑制惩罚减少无效探索。实验表明该方法在仿真与真实环境中均优于现有方法。
推荐理由:提出分层推理导航框架,将长程任务拆解为高层规划与低层执行,并引入游荡抑制惩罚以解决远距离目标定位难题。