LLM 控制的社交机器人面临网络暴露的配置攻击风险
该预印本研究了 LLM 在具身机器人中的安全依赖问题,发现可通过管理接口在未认证情况下替换人格设置和系统提示词。实验表明配置层攻击路径能引发物理硬件行为变化,而推理层的对抗输入被抵抗。
推荐理由:研究揭示了具身智能机器人管理接口存在配置层攻击漏洞,证明仅靠推理层的拒绝无法阻止未授权指令修改。
该预印本研究了 LLM 在具身机器人中的安全依赖问题,发现可通过管理接口在未认证情况下替换人格设置和系统提示词。实验表明配置层攻击路径能引发物理硬件行为变化,而推理层的对抗输入被抵抗。
推荐理由:研究揭示了具身智能机器人管理接口存在配置层攻击漏洞,证明仅靠推理层的拒绝无法阻止未授权指令修改。
研究利用 FRET 工具将机器人辅助穿衣(RAD)案例的 146 条自然语言危害需求形式化为 117 条唯一 FRETISH 要求。分析显示 70.1% 的要求包含即时响应或顺序约束,且形式化过程暴露了歧义与假设。该工作证明 HRT 分类学与形式化方法提供互补视角,为机器人系统验证提供了从非结构化语言到可验证表示的过渡支持。
针对欠驱动车辆安全约束设计困难且保守的问题,本文提出一种将验证过的相对坐标屏障迁移至同一家族中所有障碍物的方法。核心贡献包括表达状态相对于每个障碍物的广义闭包条件、将缺失信息表示为残差的提升定理,以及用于识别对称性不足情况的秩检验。作者在双积分器、平面飞机和 12 自由度四旋翼上验证了该方法,证明其能在无需重新训练的情况下迁移到新地图中,并在部署与快速启动实验中有效。
该论文提出了 AVD 系统,这是一个基于商用硬件构建的低成本多传感器遥操作轮椅平台,旨在解决严重运动与视觉障碍人士的独立移动问题。其核心贡献在于设计了以安全为导向的控制架构,确立了手动紧急停止和乘员摇杆优先于远程指令的静态权限层级,并实现了计算功能的分区与安全状态的心跳驱动切换。
论文提出一种方法,将控制屏障函数(CBF)的安全约束蒸馏到强化学习策略中,使系统在部署时无需运行集中式优化滤波器即可保持安全。该方法通过隐式 Q 学习和合成近碰撞状态进行蒸馏,证明了损失函数能界定策略的约束违反程度和碰撞概率。
针对非结构化环境中单一备份策略失效的挑战,本文提出了策略库控制屏障函数(PL-CBF),这是一种运行时安全滤波器。该方法通过评估满足约束的并行有限视界回滚结果,从候选策略中选择容许控制集体积最大的策略,并求解二次规划以最小化对名义输入的修改。研究在室内导航、高速驾驶及四旋翼飞行等仿真场景,以及移动机器人和定制四旋翼的硬件实验中,均证明了其在保持毫秒级计算时间的同时提升了安全性能。
推荐理由:提出基于并行有限视界回滚的策略库控制屏障函数,在仿真与硬件实验中验证了其在复杂动态环境下的实时安全性。
针对全尺寸人形机器人在危险工业场景(如拆解电动汽车电池)的应用,作者描述了开源自主栈 Unitree H1-2 的安全机制及其部署教训。研究指出,当状态估计过时或按下急停时,安全层会触发停止;但在推倒站立机器人等实验中,模型预测控制器无法恢复平衡,且操作者需每次手动急停。作者认为仅靠关节力矩限制不足以界定施力的适当性,主张应分阶段赋予机器人“力授权”,并由人或组织对其使用承担明确责任。
针对基础模型控制机器人存在的安全风险,作者提出了 RoboRisk 综合安全评估基准和 LEASH(Lease-Enforced Agentic Safety Harness)框架。
论文介绍 Latent Barrier Steering (LBS),这是一种用于安全流匹配生成式规划的分层语义到路径框架。现有控制屏障函数滤波器仅局部修复样本,难以应对全局约束阻塞;LBS 先引导生成器潜在变量向更大安全余量的 rollout 演化,再解码并仅对剩余违规应用路径空间二次规划。实验表明该方法在导航和机器人末端执行器规划任务中,既保持安全性又提升目标达成率并减少修正负担。
Google DeepMind 正式发布新一代视觉语言动作模型 Gemini Robotics 2.5,该模型在灵巧性、可靠性和安全性方面实现显著提升。相比基线模型,其在多步骤任务中的成功率提升 30% 至 100%,执行速度提高 20% 至 30%。
该研究介绍了 ArmedAgent,这是首个系统性评估零样本机器人控制代码智能体风险的基准。涵盖 36 个任务在 5 种场景下的鲁棒性、恶意使用及间接注入风险,先在仿真中评估并在物理机械臂上验证。测试包括 GPT-6-Astra 等前沿模型,发现当前系统在数字资源威胁转化为物理行动方面存在显著安全风险。
arXiv 论文介绍 GUARD 框架,该框架融合概率状态估计中的概率核优化技术与不确定性识别方法,为机器人控制算法推导关键阈值。系统将估计的不确定性及其来源转发给控制器以调整安全裕度并触发备份轨迹初始化。实验在模型预测控制和强化学习控制器上验证,结果显示在强化学习中碰撞率降低 44-67%,中高风险场景下备份策略激活减少 50-75%;MPC 仿真中成功避免碰撞。
针对视觉语言动作模型(VLA)在分布偏移下易发生不可预期故障的问题,本文提出 VLA-Tug 方法,通过在骨干网络潜在层进行轻量级探测来提前检测故障并界定漏检与误报率边界。
Hao Wang 等人发布 arXiv 教程,系统综述 Hamilton-Jacobi 可达性分析与控制屏障函数(CBFs)两类方法在合成安全证书中的应用。文章介绍经典与学习工具,并通过车辆系统基准对比不同方法的证书质量以提供选型指导。该预印本论文暂未开放代码或权重下载,仅作为理论参考。
针对基于视觉的控制系统中难以检测重放攻击的问题,本文提出一种自适应动态水印框架。该方法在标称控制输入中添加私有高斯水印,并利用控制输入条件的潜动力学网络预测观测图像在紧凑潜空间中的演化。
论文提出了 PS2-RL 框架,旨在解决传统方法在提供形式化安全保证与可扩展性之间的权衡问题。该方法利用学习到的备份策略在线生成隐式控制不变集,无需显式计算不变集即可实现快速恢复和端到端训练。理论分析表明该框架可应用于任意现有强化学习算法,并在高达 10 维状态空间的机器人控制任务中验证了其性能与安全性。
针对模型预测控制和强化学习中确保安全性的挑战,本文引入新型安全集类,其范围优于传统控制不变集。通过限制预测时域内不同节点而非仅终端状态来保证递归可行性;若安全集为控制不变集的内近似,则可通过安全中止策略确保安全性。在六关节机器人操作臂的广泛仿真及硬件实验中,该方法相比最先进方法减少了约束违反,同时保持了相当的跟踪性能和计算效率。
推荐理由:提出超越终端约束的安全集新方法,在仿真与硬件实验中验证了比现有方法更少的约束违反且保持跟踪性能。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
该研究针对推理型视觉语言动作(VLA)模型,发现视觉扰动可在保持生成理由逐字不变的情况下改变物理动作。在 Alpamayo 和 InstructVLA 模型上,基于文本中性残差子空间(TNAS)的干预比传统方法更高效地诱导动作变化且大幅降低文本漂移。
推荐理由:论文揭示视觉扰动可独立于文本理由改变动作,提出 TNAS 诊断方法证明仅凭文本无法认证安全,需直接验证动作通道。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
针对机器人系统部署于安全关键领域需证明其安全的挑战,该方法通过嵌入形式化验证到保障工作流中,利用 RoboChart 语言结合模型检测与定理证明自动生成证据。研究展示了从自然语言需求推导形式断言、编排多种验证工具及整合结果的有效性,相关预印本已接受发表于 Software and Systems Modeling。
论文提出了 BarrierFormer,这是一种通过监督学习实现模型无关安全控制的 Transformer 框架。该方法利用因果编码器处理观测 - 动作历史,自回归生成预测轨迹以替代动力学模型,并通过残差修正名义控制器;同时引入屏障批评家评估约束违反情况,由安全教师提供直接监督信号。
针对视觉语言动作(VLA)模型在复杂障碍场景下无法保证安全执行的问题,本文提出一种后处理修复模块 Route-Guided CBF-QP Repair。该方法利用 VLA 预测的短期动作块检测被阻塞的名义轨迹,并生成绕过障碍物的进出重连引导路线。
论文研究了强化学习运动策略在仿真条件下遭遇分布偏移时的安全性问题。作者使用闭环世界模型推演和三个模型的集合评估了 Ant-v5 和 HalfCheetah-v5 策略的预测信号时序逻辑(STL)监控能力。
文章复盘了国内具身智能赛道在资本热潮下多家企业停摆或破产的现象,指出其核心症结在于现金流依赖下一轮融资而非产品交付,且真实需求尚未成熟。随着大额融资减少和监管趋严,资本定价逻辑正从为“可能性”转向为“确定性”,行业将进入洗牌期,最终只有上游核心零部件和具备稳定商业价值的头部企业能存活。
论文研究了六款 VLA 模型在 LIBERO-Goal 仿真环境中对空、中性或无意义指令的响应。结果显示所有模型在空指令下均会移动,且五款常完成未指定任务;GR00T 的两款虽由指令决定任务但无法抑制启动。测试了三种抑制方法:前缀提示无效,门控机制在五款中有效,微调策略虽不完成任务但无法可靠保持静止或抑制不可行指令下的启动。
该论文提出 TRACE 方法,旨在解决具身视觉跟踪中提升持久性往往伴随安全违规增加的问题。研究使用一个冻结骨干网络的 0.6B 视觉语言动作(VLA)追踪器,仅更新规划头以优化策略,但发现这会增加分心跟踪下的碰撞率。
VicOne 利用 AI 辅助研究在不到两天内识别出涉及 Google、NVIDIA 和 Meta 等项目的 28 个零日漏洞,涵盖开发训练、仿真验证及部署运行三个机器人生命周期阶段。这些弱点可能影响模型构建与测试可信度,甚至导致远程停止指令失效,迫使团队加速响应并评估对机器人安全的具体影响。
四川红旗连锁于 2026 年 7 月终止机器人无人售货系统研发,因机械臂在密集货架面对异形商品时抓取失误率高、稳定性不足且易摔碎玻璃瓶。尽管项目历经 16 个月研发并投入约 280 万元,但样机未达大规模商业化落地标准,无法替代店员处理复杂场景下的补货与交易任务。
这篇论文是发表在 npj Robotics 上的综述,全面回顾了接触丰富机器人任务中基于学习的控制方法,特别是如何确保探索与执行阶段的安全性。文章将现有方法分为安全探索和 safe execution 两类,涵盖了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术。
推荐理由:该综述系统梳理了从经典方法到基础模型在接触丰富任务中的安全学习进展,为相关团队评估现有技术与未来方向提供参考。
该研究提出无需模型微调的编程级对抗共适应自博弈框架,利用代码智能体基于对手代码与任务反馈生成攻防策略。案例显示自动驾驶防御者引入直驱恢复、人形机器人防御者修订状态验证,但仅实现局部任务恢复而未建立持续鲁棒性。结果通过可执行工件与任务证据进行观测,涵盖自动驾驶 SDK 级防御与人形运动控制接口。
VicOne LAB R7 研究显示,当输入数据被恶意篡改时,原本依赖传感器读数的机器人安全决策可能失效。实验证实,在基于 Gemma 4 E4B 的机器狗测试中,海报文字可被误判为指令;而在搭载 NVIDIA Jetson AGX Orin 运行 Nemotron 的仿真环境中,人类听不见的音频也能改变机器人行为。该研究强调需重新评估针对服务机器人的信息安全性及现有防护机制的有效性。
论文提出 StepTrigger,这是一种针对 VLM 赋能的四足机器人的接触状态触发后门攻击方法。不同于传统的语言或视觉触发器,该方法利用四足机器人在密集地形行走时产生的脚底压力与地面接触模式作为触发信号。
EAST 是一个数字孪生框架,旨在解决仅以任务成功衡量具身智能安全性不足的问题。它将文献中的安全隐患转化为涵盖感知、指令、环境、动作和时序的故障注入测试。该框架包含专家审核的安全故障分类学和八个可执行算子,通过三阶段工作流生成测试规范并验证故障实现。
推荐理由:该框架将文献中的安全隐患转化为数字孪生环境下的故障注入测试,能独立评估任务成功背后的安全风险。
该论文针对高性能控制策略缺乏形式化验证的问题,提出一种两阶段安全域认证框架。该方法利用收缩稳定性建立目标集,进而对闭环系统进行处理,实现了运行时构建上下文相关的安全吸引域(RoA)以及在高保真控制器候选项之间进行安全的切换以优化恢复能力。
该研究指出人形机器人的安全过滤器仅在特定参数配置下有效,缺乏通用方法确定这些参数导致部署后可能失效。作者展示了无需额外权限即可通过正常交互利用此漏洞的攻击方式,并开发了自动化工具 SIREN 来识别脆弱目标。实验表明 SIREN 在 SPARK 数据集的所有脆弱场景中均能发现攻击,且能在真实人形机器人上成功诱导碰撞事故。
推荐理由:论文揭示人形机器人安全过滤器存在可被正常交互利用的漏洞,并展示了自动化攻击工具 SIREN 在仿真与真实机器上的有效性。
针对真实机器人在线学习中的不安全交互问题,作者提出 SEVI 框架,通过证据安全评论家同时估计未来约束违反风险与认识不确定性,并在执行前对动作进行过滤或切换至离线恢复策略。
该研究提出了一种针对随机神经控制屏障函数的可验证安全合成方法,涵盖平滑激活与 ReLU 两种情况。团队在倒立摆、Darboux 及单icycle模型三个案例中验证了框架有效性,其中平滑情形无需验证即可生成,而 ReLU 情形采用闭环验证策略。
这篇博士论文提出训练神经隐式表示来离线学习哈密顿 - 雅可比(HJ)可达性解,以在实时控制中区分安全与必撞状态。研究展示了五种方法:前四种将学习到的函数作为模型预测控制的终端约束或控制巴利尔函数的候选项,第五种则通过顶点输入的并行树搜索生成标签,解决了网格求解器限制低维模型的问题。仿真和硬件实验表明,该方法在短视域和移动障碍物场景下比几何及手工设计的基线具有更好的碰撞避免能力。
arXiv 论文提出一种用于多机器人协作的安全通信包装器算法,该算法利用各机器人上的异常检测器生成的信任值流,通过 Safe Anytime-Valid Inference 方法筛选出可信链路。
推荐理由:提出一种基于信任值的通信包装器算法,能在存在恶意链路的情况下以高概率排除受损连接并快速恢复对合法链路的信任。