PACT:通过保留正确计划并修复动作进行 GUI 代理的计划 - 行动一致性训练
该论文针对 GUI 代理在推理出正确计划却发出错误动作导致执行失败的问题,提出 PACT 框架。该方法利用标注的参考动作识别执行差距,在不改变原始标量动作奖励的前提下,通过掩码负策略梯度贡献保护已验证的计划,并利用偏好替代方法引导模型选择参考动作而非错误动作。
该论文针对 GUI 代理在推理出正确计划却发出错误动作导致执行失败的问题,提出 PACT 框架。该方法利用标注的参考动作识别执行差距,在不改变原始标量动作奖励的前提下,通过掩码负策略梯度贡献保护已验证的计划,并利用偏好替代方法引导模型选择参考动作而非错误动作。
ROSMonitoring 新增对 ROS 2 Actions 的运行时监控,通过目标标识符重构事件生命周期并自动注入协议合规的强制执行操作。受控压力测试显示,在固定负载下监控成本随动作调用次数近似线性增长,而大工作量和更多客户端 - 服务器对会引入额外开销。该研究揭示了当前同步实现的性能局限,相关论文已提交至 FMAS 2026 会议。
BehaVerify 是一个开源工具箱,旨在对行为树(BT)及神经符号行为树进行形式化验证。该工具支持使用领域特定语言(DSL)结合线性时序逻辑和计算树逻辑指定规范,并通过高效编码快速验证。它可生成 Python 和 Haskell 实现,已集成 PyTrees 与 ROS,并部署于多个自主机器人系统以验证运行时监控器。本文聚焦工具箱的使用、功能与实现细节。
研究利用 FRET 工具将机器人辅助穿衣(RAD)案例的 146 条自然语言危害需求形式化为 117 条唯一 FRETISH 要求。分析显示 70.1% 的要求包含即时响应或顺序约束,且形式化过程暴露了歧义与假设。该工作证明 HRT 分类学与形式化方法提供互补视角,为机器人系统验证提供了从非结构化语言到可验证表示的过渡支持。
论文介绍AuditEmboted框架,在固定时长等待期间独立变化保持参考和等待持续时间,同时冻结恢复执行器。实验显示,在1秒等待且注册腕部参考时,受保护完成次数从6/40变为34/40;而在仅位置保持下则相反。
论文提出 RiDEx 方法,旨在解决基于奖励的扩散模型后训练中的探索效率问题。该方法将局部探索集中在去噪速度场中与奖励相关的子空间内,利用条件残差或可微奖励梯度确定子空间,并通过同状态下的等量反向扰动测量终端奖励响应。
推荐理由:针对高维潜在空间探索效率低的问题,提出奖励感知的方向性探索方法,在四个对齐任务上实现最高峰值奖励并显著加速目标达成。
该论文提出“权重空间编程”概念,即大语言模型依据自然语言规范直接读写神经网络权重,无需优化器或梯度下降。研究将 GPT-6 Astra 和 Claude Fable 5.1/5.2 应用于自动拖拉机引导任务,在仿真中修复了为另一台拖拉机训练的 253 参数网络,并从零权重编写出控制器;两者均能正确分析闭环控制理论。
推荐理由:研究展示了大语言模型直接读写神经网络权重的方法,成功在真实拖拉机控制器中实现路径引导。
该研究提出基于模型反馈线性化的几何鲁棒数据驱动预测控制(DDPC),用于全驱动机械臂轨迹跟踪。仿真在含重力平面 2R 机械臂上验证,相比双积分 MPC 提升跟踪精度但增加扭矩消耗,性能相对 DeePC 取决于参考轨迹。论文已提交至 2027 年瑞典斯德哥尔摩学习动力学与控制会议,暂未开源代码或权重。
该论文提出一种方法,利用训练于单智能体演示的生成模型,结合编码团队物理属性的约束来生成合作任务轨迹。作者证明该方法能生成所有满足约束的团队轨迹,尽管演示中不含合作信息;数值实验与多机器人测试床验证了其在无需重新训练的情况下支持成员动态增减的能力。
TCP4D 是一个统一模型,利用共享的 4D 场景表示从单目视频和初始 2D 查询中直接恢复度量 TCP 姿态、夹爪状态及场景几何。生成器基于同一表示采样局部特征并结合机器人观测与语言指令预测未来 TCP 状态。
该研究提出 CADENCE,一种基于强化学习的步态规划器,每 40ms 在最多 65 个离散动作中决策。在无固定周期的 OCS2 仿真环境中,面对 26% 至 49% 空隙地形,其成功率达 85.1%,显著优于 OCS2-Trot(67.8%)及静态行走基线(39.6%)。
PAIR 是一个基于 Matter 协议构建的智能家居仿真环境,包含 84 个智能设备资产及 340 个人类演示数据。在由 1,200 次评估组成的基准测试中,两种微调后的视觉语言动作模型(VLA)策略均未完成任何任务,超过 90% 的失败案例停滞于导航或操作环节。研究团队表示将在发表时开放代码与数据。
论文介绍了 Magflow,这是一个完全可微分的 GPU 并行仿真器,专门用于模拟具有六自由度的工业级磁悬浮系统。研究团队利用该工具训练了首个纯基于物理仿真的神经网络控制器,并展示了其能零样本迁移到真实硬件,在 4 kHz 频率下满足硬实时约束,甚至实现了传统手工设计无法支持的拓扑结构控制。
针对现有世界动作模型(WAMs)在推理时丢弃未来预测、导致深层视觉层学到的预测信息未被动作路径有效利用的问题,本文提出 RelayWAM 架构。该方法引入显式过渡空间,基于任务指令和当前状态提取跨深度的步相关预测线索并直接传递至动作注意力机制,无需生成未来帧。
针对变形线性物体(DLO)在视觉遮挡下难以精确估计形状的问题,该研究提出无需视觉感知的触觉本体感知方案。作者引入物理信息视觉 Transformer 框架,利用高解析度触觉印记捕捉边界条件与接触梯度,通过自注意力机制和物理加权损失函数确保预测几何符合物体的物理流形。
针对复杂机器人环境交互中底层动力学难以建模且预测模型导数不可靠的问题,该研究提出 Sim2CBF 框架。该方法仅利用前向模型评估解决控制屏障函数(CBF)安全滤波优化问题,通过有限差分和对采样控制输入的局部线性插值近似 CBF 约束,同时保持避错保证。
该研究提出首个明确以请求峰值侧滑角为输入条件的生成式漂移轨迹规划器,结合流匹配模型与强化微调。在 Assetto Corsa 仿真闭环实验中,非线性模型预测控制器成功跟踪了 20 至 45 度六个目标侧滑角的轨迹。中位峰值侧滑角误差仅为 1.2 度,且控制屏障函数修正显著降低了脱路与打转事件。
Auriga Robotics 团队在沙希德贝赫什提大学开发了名为@Work 的移动操作机器人,专为提升工业环境中重复或危险任务的效率而设计。该平台采用四轮麦克纳姆轮驱动与五自由度机械臂,结合 ESP32 微控制器、NVIDIA Jetson Orin NX 处理器及 Hector SLAM、YOLO 等软件栈实现自主导航与物体处理。
LISST(Lyapunov-Inspired Sustained Stabilization)是一种学习框架,通过协调平衡恢复与抑制机器人自身修正引发的支撑运动,解决刚性假设在机械响应支撑上的不足。该策略仅依赖本体感知,利用物理监督将表征关联至机器人与支撑行为,并通过可微模型回滚指导关节级策略学习。真实世界实验表明,LISST 能在与动态响应支撑的持续交互中维持平衡并限制残余振荡。
针对机器人演示数据中关节标签受限问题,该方法利用校准的正向运动学为不同本体提供工具空间目标监督。实验在三个骨干网络和两个仿真器上验证了策略学习效果,成功实现了跨机器人的技能组合迁移。
本文提出了一种加速设计流程,通过将商用被动背部外骨骼 Laevo Flex 改装为主动系统 Levio(集成 CubeMars AK10-9 执行器、IMU 和力传感器)。
该论文针对机器人控制中扩散模型的随机性作用研究不足的问题,引入每步反事实诊断以测试采样噪声对最终输出的影响。研究发现不同配置下噪声诱导的偏差在下游可能放大、收缩或衰减,据此定义“随机多样性窗口”并应用针对性干预策略。实验显示,利用低影响区域替换 DDPM 步骤为 DDIM 跳步,可将网络评估减少最多 40-60%,时钟时间减少最多 85%,且在保持可行性、成本和多样性方面未发现一致变化。
推荐理由:提出随机多样性窗口诊断方法,揭示去噪过程中噪声影响的时间敏感性,并通过采样干预实现推理加速。
RefCloth 框架在冻结源策略下优化单一持久对抗桌布,实现零样本跨任务与模型迁移。该方案在四个 LIBERO 仿真套件中,使 OpenVLA-OFT、π0 及 π0.5 的成功率相对未优化桌布平均降低 62.50 和 43.75 个百分点(注。
论文介绍 Body Schema Policy (BSP),一种将身体图式构建为视觉与动作接口的模仿学习策略,其潜在身体图式在机器人运动学树上放置关节和连杆 token,利用学习到的螺旋运动传递特征。
推荐理由:提出将身体图式作为视觉与动作接口的模仿学习策略,在仿真及真实机器人上以极少参数实现高效全身位姿控制。
针对四足机械臂因执行器不确定性和几何误差导致的末端轨迹跟踪难题,本文提出一种结合末端惯性反馈的强化学习框架。实验表明,该方法在保持机身姿态和支撑构型不变的情况下,相比仅依赖本体感知或名义模型的基线,将基于动作捕捉的均方根误差分别降低了 17.3%、28.0%,并在轨迹层面揭示了名义运动学重建与实测末端位置间的显著差异。
该论文旨在加速生成机器人动作的自回归视觉语言动作模型(VLAs)。针对传统推测解码在机器人控制中因动作 token 冗余导致草案被频繁拒绝的问题,作者提出了 VSpark 方法。
论文提出 Risk Density RRT$^*$(RD-RRT$^*$),将碰撞风险直接作为高层规划目标以优化确定性环境中的路径。该方法在蒙特卡洛仿真中验证了近似保真度,能持续找到更低估计碰撞概率的路径。文章已接受发表于《国际机器人研究杂志》(IJRR),代码与权重暂未提及开放许可。
针对生成式策略缺乏任务进展保证的问题,本文引入基于物理仿真的推理时优化框架,评估候选动作片段并搜索满足任务收敛条件的运动。该方法结合区间 Lipschitz 约束与径向分位带限制源分布,支持欧氏及姿态值黎曼流匹配策略。在 PushT 和立方体堆叠任务中,成功率分别从 31.3% 提升至 88.5%,从 77.0% 提升至 86.0%;同时显著降低最大损失并减少分布外动作比例。
Anchored Path Matching(APM)通过监督端点与短过渡预测,在 RoboTwin 2.0 上实现一步生成即支持多步联合推理。该方法在 Clean 演示集上将闭环成功率较基线提升 2.0 个百分点,视频 PSNR 从 30.169 升至 32.317 dB。真实机器人实验中,APM 相比八步教师模型将控制周期延迟降低 21.3 倍。
现有代理操作系统将预训练的视觉语言动作策略视为不透明的语言原语,在指令或场景扰动下无法调整行为。本文提出 InteractVLA 框架,通过双向几何接口使预训练流式 VLA 成为可被几何引导和检查的工具:正向利用测试时几何引导将末端执行器目标转化为输入梯度,反向暴露动作片段与相机重投影以诊断空间差异并修正后续调用。
推荐理由:提出 InteractVLA 框架,通过双向几何接口将预训练 VLA 转化为可交互工具,实现测试时几何引导与递归自我改进。
针对不可靠感知下的集体估计问题,本文提出了 DGF-Asym 去中心化方法,通过基于回顾性预测性能的不对称同伴加权扩展了 DeGroot-Friedkin 模型。该方法无需先验传感器噪声统计或显式故障模型即可达成共识,并在异步通信下支持模拟群体导航任务。实验显示其在嘈杂观测和时变传感器故障场景下比三个基线更稳定且可靠维持决策标准,但决策时间更长,整体性能受故障比例、群体规模和影响力阈值选择影响。
论文介绍 Progress Predicts Policy (PPP),该方法通过学习语言条件的标量场并利用其微分诱导命令,结合共享世界模型读取动作梯度以生成连续或离散动作控制。实验表明,在无需额外标注的情况下,仅拟合演示进度值即可实现优于行为克隆的策略性能,适用于仿真与真实机器人操作任务。
推荐理由:该工作提出通过语言条件标量场学习混合策略,无需独立动作头或迭代搜索,在仿真与真实机器人操作中优于行为克隆。
论文提出 VoxelSBFL 方法,将工作空间划分为体素以替代传统代码元素进行故障定位分析。该方法结合工具中心点轨迹与执行结果构建可疑度地图,能在无需访问模型内部的情况下识别高失败风险区域并评分未见过轨迹。
该研究报道了在 Unitree G1 上实现的完整自主人形跑步系统,该系统参加了 2026 年世界人形机器人运动会的 100 米、400 米和 1500 米项目。
论文介绍 CoBoVLA(CodeBookVLA),这是一个拥有 2.5 亿参数的视觉 - 语言 - 动作模型,通过引入可解释的离散码将指令理解、规划与控制解耦。实验显示,在 LIBERO-Goal 基准上其成功率达 91.4%,优于 SmolVLA(82.8%);在指令同义改写测试中表现更稳健,且控制延迟仅为每步 17ms。材料指出语言理解仍是主要失败来源,并提供了预印本链接与补充材料。
该研究报告了 25 台双臂机器人的运动学、遥操作控制及真实机器人微调实验结果。研究发现,位置可达性会高估方向感知任务覆盖率;并行化身体部位控制可将任务完成时间减少 43-53%;主动搜索演示能将臂选择准确率从 50% 提升至 100%;推理时校准错误会导致所有试验失败;策略仍保留约 90% 的无效绕行路径长度。报告建议在大规模采集前评估有效工作空间、控制效率及运动质量,以消除系统诱导的补偿行为。
该论文提出 FailureGen 方法,通过微调动作条件化的 Cosmos 世界模型,将记录的真实失败执行轨迹迁移到成功宿主上下文中,生成带有时间事件标注的合成视频以扩充故障场景数据。初步实验显示,结合合成数据的检测器平均精度为 0.51,优于仅用真实数据的 0.41,且能检测到更多故障区间。材料为预印本论文,未报告真实机器人部署结果或具体开源仓库。
论文提出 SR-VLA 框架,解决视觉语言动作(VLA)策略在推理阻塞下一段动作时产生的控制停顿问题。
针对现有记忆增强方法存储成本高且无法显式进化知识的局限,本文提出了 EvoNav 两时间尺度记忆框架。该框架将语义观测、空间关系及任务反馈线索组织为稀疏经验原子,并在慢时间尺度上将类别共现与反馈信号蒸馏为环境特定的结构知识,无需预定义对象 - 房间关系。实验在单目标、序列多楼层及多模态导航任务中验证了有效经验复用与路径效率提升,并成功迁移至真实机器人。
该研究在 MetaWorld 20 任务套件上验证,受控随机选取的 5,000 条记录子集在 20,000 次更新后,其相对于 40,000 条记录池的增益(3.69 个百分点)与任务知情子集基本持平。跨 12 项对比发现,固定预测器在至少一个保留折中表现落后于均值或难度参考,且观测与预训练交互作用符号随种子变化。这项回顾性研究证明,等容量控制、种子级报告及针对性干预会改变对表观迁移增益的解释。