ProTracer:基于本体感知的机器人操作故障诊断框架
该论文提出了 ProTracer 框架,旨在对机器人操作失败进行综合分析,包括二元检测、分类、解释生成以及新增的失败起始时刻定位任务。该方法利用现有视觉语言模型(VLM)结合本体感知信号,将丰富的机器人状态信号转化为结构化自然语言描述,无需额外训练即可结合视觉观察进行分析。
该论文提出了 ProTracer 框架,旨在对机器人操作失败进行综合分析,包括二元检测、分类、解释生成以及新增的失败起始时刻定位任务。该方法利用现有视觉语言模型(VLM)结合本体感知信号,将丰富的机器人状态信号转化为结构化自然语言描述,无需额外训练即可结合视觉观察进行分析。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
针对通用视觉语言动作模型在迁移新场景时存在‘静默失败’的问题,本文提出 ValueFormer,这是一种基于冻结 DINOv3 主干的因果 Transformer(3.5M 参数),能在单次前向传播中输出平滑的优势估计价值和用于在线错误检测的尖锐二元价值。
针对实物部署中目标物漂移或摆动的挑战,本文提出了 Static In, Dynamic Out (SIDO) 框架。该方法将移动物体操作分解为预测未来位置与到达该位姿两个子问题,通过位移物体至反事实未来位置并形变演示动作块以保持手 - 物相对位姿,从而构建目标条件策略。
针对大尺度非铺装路面自主导航中车载传感器视野受限的问题,该研究提出利用卫星影像、航空激光雷达和矢量地图学习连续可通行性图的方法。模型直接由人类驾驶 GPS 轨迹监督,并结合激光雷达的几何先验进行塑形。
该论文提出一种结合控制屏障函数(CBF)的逆强化学习方法,通过约束奖励候选空间实现安全的在线控制,并能从专家观测数据中直接恢复对未见不安全状态鲁棒的屏障函数。作者在仿真导航环境及真实避障任务中进行了基准测试与规划/策略方法对比,验证了该方法在安全性能上的改进。
论文提出 Play2Perfect 强化学习框架,主张机器人需先学会“玩”以获取抓取、手内重定向等通用操作先验,再微调至精密装配任务。系统研究表明该先验比从零开始的 RL 训练样本效率高 33 倍,实现了零样本仿真到现实迁移,在仅 0.5mm 接触间隙的紧密插入任务中达到 60% 成功率,并在长周期多部件装配与拧螺丝任务中超过 50% 的成功率。
论文提出利用受约束逆运动学(IK)作为受控设置,以解析地评估扩散模型学习的内在几何结构。研究在 6-DoF UR5 和 7-DoF Franka 机器人上训练条件扩散模型,结果显示模型得分函数恢复的内在维度与约束流形的分析自由度一致,且潜在空间线性插值生成的解能保持在相应约束流形附近。该工作为理解扩散模型在具身智能中的几何表征能力提供了理论依据和实验基准。
arXiv 论文介绍了 VOiLA 框架,旨在解决部分可观测马尔可夫决策过程(POMDP)中的不确定性规划问题。该框架通过条件扩散模型学习任务无关的 POMDP 世界模型,并将采样器蒸馏为紧凑的前馈生成器以集成到向量化在线 POMDP 规划器中。
推荐理由:该研究提出 VOiLA 框架,利用蒸馏后的扩散模型实现 POMDP 在线规划,在仿真数据上实现了物理机器人任务的完美执行。
针对多相机方案成为标准但单目全局视角难以捕捉精细交互细节的挑战,论文提出了空间条件化扩散策略(SCDP)。该方法将末端执行器轨迹作为视觉注意力锚点,通过视觉编码器生成多尺度特征图并采样中间轨迹上的点对点特征。实验表明,该策略在仿真中优于强基线且接近多相机性能,真实世界实验中展现了精确操纵及对视觉干扰的鲁棒性。
推荐理由:提出单目相机扩散策略,在仿真与真实场景中均实现高精度操作。
该论文介绍 Robo2Process 框架及 RoboProcessBench 基准,旨在解决视觉语言模型(VLM)作为机器人批评者或奖励生成器时缺乏细粒度过程监督的问题。
该论文重新审视了具身化思维链(Embodied CoT)在机器人控制中的应用。作者构建了包含 97.8 万轨迹、2.263 亿样本和 2592.5 小时数据的大型语料库,发现仅靠高层推理增益有限且显式思维链作为自回归前缀会导致误差累积。
推荐理由:该文提出 ERVLA 模型,通过训练时保留推理痕迹而推理时直接预测动作的策略,解决了显式思维链在自主生成中误差累积的问题。
Safe navigation often relies on well-defined conditions based on the shape of robots and obstacles。
PathPainter 是一个面向地面及近地面机器人的导航系统,利用鸟瞰图(BEV)作为全局先验,通过图像生成模型解析自然语言意图并生成可通行掩码,同时引入跨视角定位以消除里程计漂移。该系统在四足机器人平台上成功完成了 285 米的户外长距离自主导航任务,验证了基础模型的泛化能力向具身导航迁移的有效性。
Joshua Flight 等提出解决驱动冗余并联机构中相互作用力与内载荷定义歧义的新方法,并给出合成平衡及操作关节扭矩向量的显式算法。案例研究验证了该方法的有效性,纠正了文献中的错误结果。该论文共 30 页含 15 幅图,已获《Mechanism and Machine Theory》期刊录用。
该研究针对绳索辅助机器人攀爬垂直表面的移动任务,构建了结合交叉熵方法与梯度非线性优化的双层混合整数规划框架。方法在新型 ALPINE 机器人平台上验证了其在复杂地形配置下的可行性,实现了着陆区域选择与绳张力、腿部力及落点位置的同步优化。
针对现成视觉语言模型(VLM)未适配具身域导致视觉语言动作模型(VLA)性能受限的问题,本文提出 EmbodiedMidtrain 方法。研究首先刻画了 VLM 与 VLA 数据分布差异,构建了基于轻量级可学习邻近估计器的中间微调数据引擎,从中筛选出高对齐候选样本构建 EmbodiedMidtrain-1M 数据集。
针对视觉语言导航系统受限于部分可观测性的问题,本文引入 Co-VLN 这一极简且模型无关的框架,研究并发导航的智能体如何通过交换结构化感知记忆来相互受益。实验在 R2R 基准上验证了该框架对基于学习的 DUET 和零样本 MapGPT 两种范式均能带来显著的性能提升,为未来协作具身导航研究奠定基础。
针对主流数据集忽视环境干扰和预抓取姿态的问题,作者提出 DGS-Net 端到端网络及两阶段数据生成策略,构建了包含 307 个物体、240 个多对象场景和超 35 万验证抓取的数据集。实验显示该方法在仿真中达到 88.63% 成功率,真机平台为 78.98%,且平均穿透深度仅 0.375 mm,表现出更强的泛化能力与鲁棒性。
针对现有机器人操作策略忽视记忆能力的局限,研究团队推出包含 9 个任务的仿真基准 RMBench 及模块化策略 Mem-0。通过广泛的仿真与现实实验,该工作揭示了现有策略在记忆相关任务中的限制,并提供了架构设计选择如何影响记忆性能的实证洞察。相关网站与代码已公开供评估使用。
ARMOR 将故障检测与推理构建为基于历史输出的多任务自我修正过程,利用稀疏二元标签与小规模丰富标注进行异质监督训练。实验显示其故障检出率较先前方法提升最高达 30%,LLM 模糊匹配得分下的推理能力提升最高达 100%。该预印本论文展示了在开放-ended 推理及异质监督下的鲁棒性,代码与权重暂未提及开源许可。
arXiv 论文 AIDE 提出一种模仿人类认知过程的双流框架,通过多阶段推理进行决策、加速决策模块负责执行,实现零样本 affordance 分析与模糊指令解释。实验表明该方法在仿真及实机环境中任务规划成功率超 80%,10Hz 闭环连续执行准确率超 95%,优于现有基于 VLM 的方法。
针对复杂工业场景依赖人工规划和启发式仿真的局限,本文提出 IDfRA 框架,结合大语言模型生成装配计划与视觉语言模型评估执行结果,形成规划 - 执行 - 验证的闭环。该系统无需部署前构建精确的世界模型,而是通过在线交互发现物理约束以适应未充分定义的环境。实验显示,该方法在语义可识别性上达到 73.3% 准确率,整体构建成功率为 86.9%,且设计质量随迭代逐步提升。
该工作提出关于随机搜索的数学教程,为轨迹优化与策略优化算法提供统一视角并推导新型强化学习算法。论文将多种轨迹优化方法纳入共同框架,旨在解决非可微函数处理及跳出局部极小值等机器人领域难题。
该研究提出基于偏序偏好博弈(posetal games)的多智能体运动规划框架,将抽象法律准则自动转化为代理偏好与合法博弈。在海上导航任务中,针对最多四艘船舶的七次遭遇场景,所有违规均被证明由法律层级强制或不可满足,且 defections 在所有测试案例中均可从公开信息识别。该方案为从部分指定的法律到多智能体运动规划提供了可审计的路径。
该研究提出一种统一控制与通信策略,在间歇性通信下利用可达集与控制屏障函数保障多智能体安全。仿真表明,基于新颖风险指标的预emption 式通信相比周期性及事件触发基线减少消息量 77.5%,且实现零碰撞。论文已接受至 2026 IEEE CDC,代码与数据许可状态待进一步确认。
论文提出了 DeciCAD 框架,旨在解决计算机辅助设计(CAD)领域中智能体操作策略的学习问题。研究构建了一个领域原生的 harness,暴露语义 CAD 动作、决策导向观察、环境反馈及持久状态转换。
该技术报告针对前序争论,扩展了含非线性摩擦摆系统的速度反馈观测器实验评估。结果显示,尽管调参指南能抑制部分颤振,但无法在一般情况下彻底消除该现象。研究对比了基于浸入不变性的自适应控制方案与改进超扭转观测器策略的实验表现。
LIBERO-PeRM 是一个用于具身智能体偏好学习的新基准,旨在解决通用机器人进入家庭环境时的个性化难题。该研究在仿真环境中构建了包含 312 个任务的高质量演示数据集,并提出了可自动评估的偏好满足指标体系。
推荐理由:该基准通过受控仿真区分任务完成与偏好满足,揭示当前 VLA 策略在零样本个性化上的局限及混合训练对运动学习的潜在影响。
针对现实世界通用机器人策略后训练的局部可观测性与离线反馈延迟问题,论文提出了价值即记忆框架。该框架通过价值缓存将近期预测作为任务进度记忆来约束动作选择,并结合离线演示、离策干预与在策 rollout 实现样本高效的在线自主学习。实验显示,在涉及可变性物体和富接触操作的任务中,该方法使平均绝对成功率提升 29.4%,相比匹配的离线训练在线自主学习方案再提升 32.8%。
论文介绍 T2-Z 方法,该方法为机器人世界模型引入可学习的无监督环境潜变量,在训练阶段交替优化动力学与潜变量结构,在测试阶段仅凭少量交互即可适配新环境。实验显示,该方法在仿真和真实任务中将物体预测误差从 15.20 降至 7.00,动作成功率从 33.73% 提升至 72.96%,且能高效捕捉环境与物理因素的联合表征。
推荐理由:该工作提出在测试时优化环境潜变量以适配未见过的环境配置,显著降低预测误差并提升任务成功率。
论文介绍 CoDA 框架,解决生成式仿真环境物理有效但不利于训练的问题。该框架通过共享异构记忆实现仿真数据引擎与动作策略的协同进化,利用视觉语言批评将验证后的诊断转化为重建困难和辅助训练的生成程序。
推荐理由:该框架通过共享记忆让仿真引擎与策略协同进化,利用视觉语言批评生成针对性训练程序,在四个操作任务家族中将分布外成功率从 5.3% 提升至 27.6%。
针对视觉预训练难以捕捉接触力与滑移等触觉信息的难题,该研究提出 Spark-0 模型,利用触觉手套数据构建 HumanTouch 数据集进行大规模预训练。实验表明,在保留触觉信号的情况下,Ego Humanoid 基准测试成功率从 52.5% 提升至 71.7%,SparkArena 真实机器人任务成功率从 44.0% 提升至 52.0%,验证了触觉作为策略输入及可缩放监督信号的有效性。
推荐理由:该工作提出 Spark-0 模型与 HumanTouch 数据集,证明在灵巧操作中保留触觉信号可显著提升视觉预训练的成功率。
论文提出 DSP(Dexterity from supervised play)框架,机器人通过行为克隆从几分钟的人类游戏中学习策略,进而自主执行以收集小时级交互数据用于训练世界模型;推理阶段利用该策略引导模型预测控制并蒸馏闭环策略。
推荐理由:提出 DSP 框架,通过监督游戏自主收集数据训练世界模型与策略,在少样本下实现灵巧操作。
arXiv 论文介绍了一种名为 PSA-PPO 的目标条件化局部到达框架,专为温室 NFT 水培生菜采摘设计。该研究在 Isaac Lab 仿真环境中完全训练了策略,无需真实世界微调即成功迁移至物理 UR10e 机械臂。
推荐理由:该研究提出了一种用于温室水培生菜采摘的强化学习框架,在仿真中训练后直接迁移至真实机械臂,实现了高成功率与低抖动。
该论文提出 Mem4Act 框架,旨在解决长视界机器人操作中的记忆效率与利用问题。方法通过多粒度时序聚合组织历史、利用问答监督保留语义信息并重建关键帧特征,采用记忆优先的两阶段训练策略以增强策略对记忆的依赖。实验在 RoboMME、RMBench 及四项真实世界任务上验证,成功率为 49.88%、61.0% 和 81.5%,消融研究证实了时序聚合与监督机制的重要性。
针对人类教学难以覆盖任务全貌的问题,该方法利用机器人自身信息构建先验,通过解释性提问引导人类关注关键特征。仿真结果显示,在低查询场景下其表现比标准基准提升高达30.8%;用户研究证实该策略能显著改善奖励恢复效果并产生协同增益。论文已被 CoRL 2026 会议接收,代码与数据开放许可待定。
针对机器人操作中同一观测对应多种可行动作的问题,本文提出 Mode-Oriented Source Shaping (MOSS) 方法,将模式选择转化为对生成起点的显式控制。
作者发布了 REKI,这是一个 2.4B 参数的视觉语言动作模型(VLA),仅使用公开数据进行预训练。该模型在 LIBERO-Plus、RoboTwin Clean2Rand 和 RoboCasa365 等基准测试中表现优异,性能接近两倍大模型的规模。
推荐理由:该 VLA 在仅用公开数据预训练下,以较小规模达到接近两倍大模型的 LIBERO-Plus 等基准表现。
论文 FastVLA 针对 VLA 模型闭环部署中的推理效率瓶颈,提出一种无需训练的、任务感知的且随时间自适应的视觉 Token 压缩框架。该方法通过任务到视觉注意力评分 Token 重要性,并利用逆辛普森指标在线校准动态调整压缩率。