基于规则图的 LLM 机器人安全任务完成方法
针对大语言模型驱动机器人面临的越狱与复合指令安全风险,论文提出 RuleGraph 多智能体规则图规划框架。该方法通过五类协同智能体将通用安全原则转化为具体规则,在规划图中继承并验证候选计划,确保拒绝有害子任务同时完成合法部分。实验显示,该框架在两个基准测试中将攻击成功率降至 0%,同时在 RoboGuard 基准上达到 98.57% 的任务完成率,在长视界复合指令上达到 84.54%。
针对大语言模型驱动机器人面临的越狱与复合指令安全风险,论文提出 RuleGraph 多智能体规则图规划框架。该方法通过五类协同智能体将通用安全原则转化为具体规则,在规划图中继承并验证候选计划,确保拒绝有害子任务同时完成合法部分。实验显示,该框架在两个基准测试中将攻击成功率降至 0%,同时在 RoboGuard 基准上达到 98.57% 的任务完成率,在长视界复合指令上达到 84.54%。
作者推出了 LIBERO-Pro2.0 基准,旨在系统评估具身基础模型在分布偏移下的鲁棒性。该基准包含 1,648 个经过人工校验的偏移任务实例,涵盖条件、环境、观测等六个维度的 22 种静态扰动和 20 种运行时干预,并提供了 39,390 条训练轨迹。
LIBERO-Dynamic 是 LIBERO 基准的动态扩展版本,针对传统仿真中目标静止和推理瞬时的假设进行了改进。该工作通过接触摩擦驱动物体沿三条轨迹族和速度层级运动,并根据校准的模型特定推理延迟推进物理世界。
针对无法整合过往失败的冻结视觉语言动作(VLA)策略,研究提出了可审计的外部记忆包装器 RTPC。该方法在 CALVIN 单任务操作评估中虽降低了基于深度的近碰撞代理事件率,但未改变任务成功率且独立复现失败。分析指出端点耦合与批次敏感性等局限,表明该干预未确立物理安全改进或特定记忆收益。
arXiv 发布了一篇关于动态空间音频驱动人体动作生成的研究论文。作者提出了 MOMO 框架和两个数据集(DySAM、DySAL)。MOMO 是一个基于扩散的框架,通过定位、理解和生成三个原则,利用原始双耳音频估计移动声源的空间方向并生成高保真的人体运动。材料为预印本,未报告真实机器人部署结果或具体性能数字。
ContactBench 1.0 通过 36 个参考任务和 40+ 物体资产,建立可复现的日常接触丰富机器人操作评估框架。该基准开源了支持消费级 3D 打印的几何与接触行为资产及可调阻力仿真模型。评测显示,现有纯视觉策略难以感知接触事件,而视觉 - 触觉策略性能提升有限。
GazeAct 是一个配备人眼注视信号的实物机器人操作数据集与训练框架,旨在解决视觉语言动作模型(VLA)将指令锚定到正确物体和接触点的问题。研究团队通过屏幕遥操作记录操作员在机器人摄像头画面上的注视信号,获得包含 12000 次演示、覆盖 40 个任务及五个领域的多视图数据,且注视信号以 300 Hz 与图像、本体感知及动作同步。
推荐理由:该工作提出 GazeAct 数据集与框架,利用遥操作记录的人眼注视信号作为软监督来正则化 VLA 模型的视觉注意力,在真实机器人任务中显著提升成功率。
该方法将触觉反馈赋予独立控制角色,在视觉基策略操控手臂的同时接管夹爪进行微调。真实实验显示,其在容器开启、物体处理及工具操作任务上,成功率优于 Visuomotor Policy 和 Tactile-Force Policy 基线。研究证实了在执行过程中利用局部触觉策略实现精细夹爪控制的可行性。
该论文提出利用缆绳张力作为传感模态来评估系留移动机器人与障碍物接触的风险,核心在于区分被接触障碍物的可移动性。研究通过改变机器人速度、接触角度、障碍物质量和表面材料进行实验,发现障碍物是否可移动由初始张力上升及峰值后的松弛情况决定。
该研究提出 Gen2Dex 框架,旨在解决由完全指定的仿真场景生成的视频演示中存在的几何失真和物理不一致问题。方法利用已知场景信息进行基于模型的目标跟踪和深度手部对齐,并通过残差强化学习将恢复的人类运动重新定向并赋予物理基础。
Unitree H1-2 研究对比了人类导引运动与机器人特定运动在建筑搬运任务中的表现。后者利用逆运动学及最小加加速度策略,将四组目标任务的执行时间从 25.03 秒缩短至 12.87 秒,轨迹长度减少至 0.92 米且机械功仅为 58.7 焦耳。结果表明允许机器人偏离人类演示动作可显著提升运动执行效率,但需更多任务验证其生产力增益。
eXtended Reality Teleoperation(XRT)框架通过轻量级振动与听觉反馈解决双人遥操作中缺乏接触感知的难题。实验显示,所有受试者均认为手指定位的振动提示比开放式耳声化更有效且更易解读,但任务完成时间、失败率等性能指标在不同反馈条件下无显著差异。研究结论表明,对于新手协作遥操作,触觉线索主要提升了感知效率,其对实际任务性能的改善效应尚待进一步验证。
该预印本论文提出了 TrajEdit 分层轨迹规划器,用于解决动态障碍物主动追逐时的安全实时运动规划问题。该方法在标称条件下遵循当前计划,利用 FlowEdit 技术对剩余轨迹进行快速适应,并在检测到对抗性代理进入安全阈值时切换至控制屏障函数(CBF)安全过滤器。
该工作演示了一种基于快速仿真训练的框架,利用强化学习控制策略,能在单张消费级 GPU 上少于 20 分钟的训练时间内,使四足机器人可靠地穿越包括月球模拟设施在内的多样化真实地形。材料展示了仿真到现实的可靠迁移能力,但未报告具体的部署规模或商业化许可信息。
该研究提出融合力历史与三维点云的 Transformer 分类器,在单臂操作及 Franka 双臂零样本部署中,于单模态完全遮挡下仍保持超 90% 准确率。系统通过识别未知负载自动补偿并切换阻抗模式,成功验证了从仿真到硬件的泛化能力,支持安全精确的人机协作任务。
本文提出 FLASH-CBF-RRT,旨在解决传统直线转向浪费样本和二次规划控制器计算开销大的问题。该方法通过闭式运动学边界计算碰撞清除时间视界,使规划器能在安全范围内使用恒定速度进行自适应步长转向(障碍物附近短、开阔空间长)。
推荐理由:FLASH-CBF-RRT 通过闭式解计算安全时间视界,在保持 RRT-Connect 100% 成功率的同时将规划耗时降低 3.82 倍。
Rollbot 2 保留单执行器设计但重新分配质量分布,结合惯性测量与超宽带传感实现自主导航与信标寻迹。在共享的 4.8 米“N”形路径基准测试中,16 次试验平均耗时 10.8 秒、平均偏差 7 厘米;最快完成时间 8.0 秒,比原版快 70 倍以上。该研究展示了机械重设计、板载传感与学习控制如何提升单执行器球形机器人的敏捷性与自主性。
Valentin Gaucher 和 Wenlong Zhang 提出一种时间感知混合模型预测控制(MPC)框架,将事件切换时刻提升为决策向量中的显式优化变量,而非依赖固定时间网格。该方法通过稀疏二次规划(QP)联合优化连续控制输入与冲击时机,在反弹质量着陆振荡平台的实验中,收敛速度比固定网格盐跃 MPC 快一半,累积控制努力减少 30%,并消除了碰撞后的反弹现象。
HAVANA 是一种分层视频动作模型(VAM),旨在解决现有 VAM 同时预测视觉未来和局部轨迹导致的效率问题。该模型通过慢系统从观测历史生成紧凑的语言条件潜在计划,快系统将最新计划与当前观测结合以生成局部轨迹。
论文提出 CODES 框架,通过运动重定向、弱监督共识编码和密度聚类从多样化记录中自动发现连贯的运动风格库,并利用强化学习训练策略将风格与独立任务指令进行组合。该方法在宇树 Go2 四足机器人上进行了仿真与真实硬件评估,相比基线显著提升了运动学一致性,且能追踪超出录制数据支持范围的指令,展现出稳健的风格特征。
论文提出 REAP 框架,通过关系图神经网络在简单符号抽象上学习启发式函数,并由运动规划器监督揭示隐藏的几何先决条件。该方法结合贪婪最佳优先搜索,在物体数量、计划长度和排列方式等分布外场景泛化良好,相比经典启发式搜索和学习基线解决更多问题,所需运动规划查询量减少约一个数量级,且首选动作在 94% 采样状态下具有几何可行性(随机选择仅为 22%)。
论文提出 ESCAPE 框架,利用分布式深度传感器聚合稀疏测量以构建结构化点云表示,结合基于流匹配的生成式策略,在包含超 10 万条安全关键轨迹的高质量数据集上进行联合优化训练。该框架完全在仿真中训练并实现零样本迁移至物理硬件,无需真实世界微调,在仿真与实机评估中均优于外部视角及体素化规划基线。
论文介绍 EgoVine 框架,将固定演示集转化为交互式体验以提升长程规划能力。该方法在由真实视频注释编译的可执行符号环境中运行,要求智能体在部分观测下协调物体操作并应对延迟后果。
针对未知环境中机器人需判断信息是否充足再行动的挑战,研究提出一种概念性混合神经符号框架。该架构在解析任务后生成初始计划并迭代重评,支持获取新视角、检查物体或请求用户澄清等动作。系统将在由类人躯干与移动底盘组成的移动操作机器人上实现,并在仿真环境中进行互补评估。
MoDex 是一个数据高效的统一框架,旨在解决多物体灵巧抓取中数据采集成本高、空间布局多变及泛化难的问题。该方法将任务建模为学习参考轨迹的残差修正单步决策问题,并引入空间自适应双策略:对近距物体执行单次抓取,对分离物体执行序列交互。
针对感知与控制不确定性导致的意外接触问题,论文提出 ContactKernels 方法,利用几何条件力矩测量估计接触位置与局部几何,直接适配采样分布以引导修正运动。仿真与真实机器人实验显示,该方法在预测采样和模型预测路径积分控制下,平均插入成功率提升超 50 个百分点,真实机器人插入成功率从 53.3% 提升至 90.0%,平均插入时间减少 33%。
推荐理由:提出利用几何条件力矩测量估计接触状态,自适应调整采样分布以引导修正运动。
PrismPlan 构建了一个共享的 GPU 底层设施,为采样、搜索和优化三种运动规划范式提供统一的碰撞检测与正向运动学代码,从而在固定后端的前提下直接对比不同算法性能。研究在 Panda 和双臂复合机器人上运行了 1800 个 MotionBenchMaker 问题,结果显示采样法(pRRTC)可靠性最高达 98%,并行搜索法(wPA*SE)延迟更低,而优化器从头求解表现落后。代码已开源。
针对非结构化地面上的远距离投掷任务,本文提出一种结合动力学链手臂建模、SQP 轨迹优化与参考引导强化学习的全身协调框架。在固定基座上,优化后的臂部轨迹释放速度达 12.75 m/s,投掷距离为 16.68 m;启用全身协调后,释放速度提升至 16.64 m/s,投掷距离增至 28.25 m。研究通过硬件实验验证了该策略在平地、草地、斜坡和粗糙路面等多样地形下的鲁棒性。
AutoPruner 是一个由 LLM 智能体驱动的框架,旨在联合搜索 VLA 模型的剪枝结构与恢复方案以平衡模型大小与性能。该框架通过离线层干预测量动作输出变化作为功能证据,结合评估历史提出删除集和恢复策略并在目标任务上执行验证。
针对非惯性环境下人形机器人因未知时变环境运动导致的控制难题,本文将其建模为受混合正弦扰动的混合线性系统扰动拒绝问题。研究推导了可解性条件并设计了基于 Youla-Kucera 参数化的输出反馈控制器及自适应律以估计未知参数。
针对服务机器人自然语言指令中的歧义性问题,研究提出一种结合概率判别效率与人类认知特征的自适应提问机制。该方法利用视觉语言模型提取候选物体属性,计算各属性的信息增益以消除不确定性;当信息增益相同时,依据人类认知特征筛选用户最易直观感知的视觉属性(如颜色、形状),并生成简洁的自然语言问题。
论文提出了 ScaleNav 统一的世界 - 动作框架,旨在解决端到端导航策略需要多样化数据且真实数据采集成本高、仿真存在差距的问题。该方法首先利用互联网第一人称视频进行指令条件视频预训练以学习观察随相机接近目标而演变的视觉动态;随后使用带标签的仿真数据进行动作对齐以预测可执行的动作片段;最后通过联合微调优化所有可训练组件。
论文研究了数据量、多样性和模型容量如何影响具身智能体在不同视觉风格和物理动力学下的虚拟世界表现。实验覆盖 0.8B 至 27B 的四种模型规模及多种数据混合策略,结果显示更多数据提升同域性能,多样性有助于迁移到相关世界但远距离世界增益有限;存在早期界面阶段和后期世界阶段的转变规律,且模型在实时设置下表现最佳,但仍需更丰富的训练阶段以构建通用智能体。
Kodama Systems 今日宣布完成 700 万美元融资,用于支持商业部署、深化 OEM 合作及开发复杂非公路环境的监督自主能力。该公司技术已在东南部美国商用林场运行,过去六个月移动木材超 10 万吨。其采用“遥操作 + 监督自主”混合模式,每日生成约 1TB 训练数据,并与全球三大设备制造商中的两家集成,旨在解决林业人才短缺与安全问题。累计融资已达 1400 万美元。
哈佛大学、英伟达及多所顶尖高校团队推出开源框架RAX(Robot Agent eXploration),旨在扩大机器人自主探索规模。该架构允许通用编码智能体在真实或仿真环境中,无需人工遥操作或动作示范,直接通过感知与控制接口与机器人交互,将有效经验转化为可执行程序。
论文指出当前宏规划器常生成物理上不可实现的潜变量子目标,为此提出 Metro-WM 框架。该方法通过从离线专家演示或随机轨迹中检索真实观测帧构建图结构来连接不同集体验证的路径,而非生成无依据的潜向量。实验显示,Metro-WM 在长视界任务上的成功率最高提升 37.33 个百分点,速度快 10.9 倍,且所需离线计算量减少 13-56 倍,同时具备更强的执行误差鲁棒性。
NEXUS 是一个模块化神经符号框架,通过利用执行失败修复动作模式并将检测到的危害转化为可复用的 LTL 约束,解决了大语言模型在具身智能中物理不可行或危险的问题。在 SafeAgentBench 评估集上,该框架实现了安全任务完成率与不安全任务拒绝率之间的最佳权衡,并在越狱攻击下保持了低违规率。消融实验证实了 PDDL 域细化与 LTL 约束积累的互补优势。
该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
推荐理由:该研究将冻结的 GPT-6-Astra 直接作为策略在 RoboMME 基准上取得 92.1% 成功率,超越人类与现有分层系统,为通用大模型替代专用堆栈提供实证。
论文提出 Analytic Robot Self-Model,该方法利用多视图图像和关节读数建立高斯外观模型并推断刚体连杆分配,同时通过稀疏末端执行器位姿独立识别度量螺旋轴。
推荐理由:提出无需变形网络或 CAD 模板的解析式机器人自建模方法,通过多视图与关节读数显式学习运动学参数。
AnyRank 提出一种结合顺序检验与多假设图检验的方法,用于在有限硬件试次下对多个机器人策略进行自适应分配并随时提供带错误概率界定的部分排名。该方法可利用仿真或视频世界模型生成的先验信息提升效率,即便先验不完美也不影响统计保证。实验表明,AnyRank 所需硬件评估次数较现有严谨方法减少高达 50%,同时避免了启发式基准产生的错误排序。