ResponsibleRobotBench:面向机器人操作的负责任决策基准
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
ResponsibleRobotBench 是一个包含 23 种配置的操作任务基准,旨在评估大型多模态模型在风险感知、缓解行动选择及执行前提满足方面的能力。研究发现终端安全性与任务完成度可能分离,且防御提示对不同模型的影响方向各异;仅识别危险类别不足以保证可执行的缓解措施。该工作通过模仿学习与物理机器人序列实验,强调了协调缓解动作与目标行动的必要性,并提供了任务定义、检查条件及提示词附录。
该研究针对推理型视觉语言动作(VLA)模型,发现视觉扰动可在保持生成理由逐字不变的情况下改变物理动作。在 Alpamayo 和 InstructVLA 模型上,基于文本中性残差子空间(TNAS)的干预比传统方法更高效地诱导动作变化且大幅降低文本漂移。
推荐理由:论文揭示视觉扰动可独立于文本理由改变动作,提出 TNAS 诊断方法证明仅凭文本无法认证安全,需直接验证动作通道。
针对多智能体强化学习缺乏安全保证且传统控制屏障函数易不可行或过于保守的问题,本文提出 Backup-Horizon CBF 方法。该方法沿时间步长评估安全性直至车辆停止,在控制约束下保持递归可行性并精确考虑几何形状。
推荐理由:提出递归可行控制屏障函数,在仿真中实现多智能体强化学习的安全保障与实时性。
针对神经网络在物理贴片攻击下的鲁棒性验证难题,该方法提出基于群稀疏建模与半定松弛的新框架。实验显示其计算耗时不足原混合整数半定规划法的 3%,目标函数值仅增加 0.34%。Group-Lasso 松弛将验证成功率提升至 91%,显著优于此前低于 70% 的现有方法水平。
该论文提出一种基于物理一致性的评估框架,用于验证汽车雷达感知中由数据驱动模型生成的车辆假设。该方法利用包含遮挡依赖边缘可见性、方位角与角度相关的 RCS 建模以及车轮诱导多普勒特征的物理参考模型,生成预期的雷达特征,并通过基于 Wasserstein 距离的一致性指标(涵盖检测空间分布、局部计数和反射强度)将其与观测到的雷达点云进行对比。
针对场景图生成(SGG)训练时的后门风险,研究揭示显式全局上下文路径是跨模型的主要攻击载体。在 Visual Genome 数据集上对 OvSGTR 和 RelationFormer 等模型的实验表明,推理阶段替换为干净的全局上下文表示可将攻击成功率分别降低 100% 和 97%。该论文已获 ACM MM 2026 接收,证实了全局上下文设计可能带来的安全隐患。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
针对机器人系统部署于安全关键领域需证明其安全的挑战,该方法通过嵌入形式化验证到保障工作流中,利用 RoboChart 语言结合模型检测与定理证明自动生成证据。研究展示了从自然语言需求推导形式断言、编排多种验证工具及整合结果的有效性,相关预印本已接受发表于 Software and Systems Modeling。
论文提出了 BarrierFormer,这是一种通过监督学习实现模型无关安全控制的 Transformer 框架。该方法利用因果编码器处理观测 - 动作历史,自回归生成预测轨迹以替代动力学模型,并通过残差修正名义控制器;同时引入屏障批评家评估约束违反情况,由安全教师提供直接监督信号。
针对哈密顿 -雅可比等经典方法随状态维度扩展性差的问题,该研究将基于采样的可达集恢复建模为几何支撑估计。理论证明在初始集补集具有正距离且动力学满足 Lipschitz 连续时,可获 Hausdorff 距离精度保证,但样本复杂度呈指数级依赖状态维与时域。实验证实对抗采样仅改善常数项而无法改变这一内在的指数缩放规律。
针对视觉语言动作(VLA)模型在复杂障碍场景下无法保证安全执行的问题,本文提出一种后处理修复模块 Route-Guided CBF-QP Repair。该方法利用 VLA 预测的短期动作块检测被阻塞的名义轨迹,并生成绕过障碍物的进出重连引导路线。
针对单目深度估计技术可被用于伪造 RGB-D 查询从而破坏位置认证安全性的问题,本研究提出一种基于几何一致性的呈现攻击检测(PAD)分类器作为软件层防御手段。
该论文研究了计算机视觉系统在区分无害船只和恶意无人水面艇(USV)时的脆弱性。研究发现,对抗性船体补丁最多可抑制29%的检测率但不会导致误判为无害;而物理伪装能同时绕过摄像头和雷达检测。作者提出了一种基于AIS轨迹的混合回放协议,结合记录的运动与攻击路径,发现资产相对闭合速率检查在特定条件下比仅依赖轨迹速度的检查更有效,且两者互补可限制攻击者并延长其接近时间。
论文研究了强化学习运动策略在仿真条件下遭遇分布偏移时的安全性问题。作者使用闭环世界模型推演和三个模型的集合评估了 Ant-v5 和 HalfCheetah-v5 策略的预测信号时序逻辑(STL)监控能力。
该论文揭示了大型视觉语言模型(LVLMs)在推理时使用视觉标记压缩时,传统后门会被激活而暴露风险。作者提出 StripWake 项目器仅后门方案,通过配对清洁监督与随机压缩视图并冻结良性教师对齐早期注意力,实现在全标记审计下保持低攻击成功率而在未见过的压缩器中高效触发,且无 CIDEr 损失。
推荐理由:揭示大模型推理压缩会激活潜伏后门,提出 StripWake 方法在审计时保持休眠而在压缩后触发。
论文提出了 SHield,这是首个非盲、免解码器的 4DGS 水印方案,通过扰动关键高斯子集的球谐系数将全分辨率 RGB 图像嵌入文件。该方法利用球谐系数的时域与视角不变性,在几何上重新关联以抵抗篡改,并以闭式解恢复载荷。
研究提出“基准卡”并审计六个情境安全基准,发现仅凭图像尺寸即可以 82.3% 准确率泄露 MSSBench 的 SAFE/UNSAFE 标签。Spot-Stop 分解显示多数开源多模态大模型排名优于其标签评分,且共享阈值可修复部分偏差。该工作为物理 AI 领域评估模型在真实部署中的情境安全性提供了关键审计视角与修正方法。
该论文研究了联合嵌入预测架构(JEPAs)在 LeWorldModel 中的测试时间鲁棒性。分析发现,物体状态主导了潜在距离,但编码器无法轻易隔离或重定向这种几何结构。实验表明,仅对单帧输入施加极小的白盒扰动即可让编码器将物体姿态记录为攻击者任意选择的状态,导致 Push-T 等任务的规划成功率从 87% 骤降至 32%,且该漏洞在四个标准基准测试中均存在。
推荐理由:该研究揭示了 LeWorldModel 在测试时对微小图像扰动的脆弱性,攻击可诱导规划器将物体状态误判为任意姿态,导致任务成功率大幅下降。
该研究针对公开生成的合成视频被恶意重构的风险,提出 V-PSA 方法,利用 DDIM 逆推和 Null-Text Inversion 技术,在无需原始生成器或提示词的情况下实现高保真重建与受控编辑。
AegisBench 填补了无人机搜救系统在平静日光基准与洪水、火灾等极端灾害夜视任务间的评估鸿沟。该基准对 HERIDAL 和 SARD 数据集施加九种物理扰动,测试 Faster R-CNN、YOLOv11 及 RT-DETR 共 168 种工况,揭示低光导致召回率归零且微调无法迁移至真实夜视图像。
该论文评估了在晴朗白天场景上训练且未进行适应的目标检测架构在雾、雨、雪和夜间等未见环境下的表现。研究使用性能下降百分比(Drop)、天气鲁棒性指数(WRI)和关键道路参与者(如汽车、公交车、卡车、行人)的类别敏感度分析来衡量鲁棒性,并利用预期校准误差(ECE)测量预测置信度的可靠性。
Anthropic 在更新招股书中披露,其下一代模型可能即将突破 AI 自进化(RSI)危险红线,导致能力提升速度超过安全措施实施能力。公司单季营收约 170 亿美元(同比暴增 1127%),但季度环比增速降至 47%,年化流水估算约为 650 亿美元。招股书同时承认研发加速证据多为滞后指标,且巨额亏损主要源于可转换票据公允价值变动而非现金消耗。
文章复盘了国内具身智能赛道在资本热潮下多家企业停摆或破产的现象,指出其核心症结在于现金流依赖下一轮融资而非产品交付,且真实需求尚未成熟。随着大额融资减少和监管趋严,资本定价逻辑正从为“可能性”转向为“确定性”,行业将进入洗牌期,最终只有上游核心零部件和具备稳定商业价值的头部企业能存活。
普华基础软件在 SAECCE 2026 上发布开源小满 EasyXMen V26.10、AUTOSAR CAPI 1.0 及普华智能操作系统等 8 项成果。
推荐理由:普华基础软件发布开源小满 V26.10 等 8 项成果,涵盖车控系统、AUTOSAR CAPI 及飞行汽车 OS,并开放 GitHub 代码生成器与 Demo。
该论文提出了 TADP 框架,用于在固定长度片段替换邻域下实现推理时的隐私保护视频生成。该方法采用双分支设计提取身份和表情表征,利用时序自适应高斯机制对两分支进行加噪,噪声规模仅取决于同一片段内的先前私有化发布结果且受历史均匀校准最小值约束,并通过自适应 Rényi 差分隐私(RDP)组合处理联合发布。
论文研究了六款 VLA 模型在 LIBERO-Goal 仿真环境中对空、中性或无意义指令的响应。结果显示所有模型在空指令下均会移动,且五款常完成未指定任务;GR00T 的两款虽由指令决定任务但无法抑制启动。测试了三种抑制方法:前缀提示无效,门控机制在五款中有效,微调策略虽不完成任务但无法可靠保持静止或抑制不可行指令下的启动。
该论文提出 TRACE 方法,旨在解决具身视觉跟踪中提升持久性往往伴随安全违规增加的问题。研究使用一个冻结骨干网络的 0.6B 视觉语言动作(VLA)追踪器,仅更新规划头以优化策略,但发现这会增加分心跟踪下的碰撞率。
本文测试了在传感器读数不可信且工具与推理通道共享共同视觉故障时的安全性收益。研究基于分割、对比检索和迭代视觉语言推理器的皮肤病学代理,在 PAD-UFES-20 数据集上发现,字体注入产生可检测的方向性检索捕获,而物理腐蚀则不会。
VicOne 利用 AI 辅助研究在不到两天内识别出涉及 Google、NVIDIA 和 Meta 等项目的 28 个零日漏洞,涵盖开发训练、仿真验证及部署运行三个机器人生命周期阶段。这些弱点可能影响模型构建与测试可信度,甚至导致远程停止指令失效,迫使团队加速响应并评估对机器人安全的具体影响。
四川红旗连锁于 2026 年 7 月终止机器人无人售货系统研发,因机械臂在密集货架面对异形商品时抓取失误率高、稳定性不足且易摔碎玻璃瓶。尽管项目历经 16 个月研发并投入约 280 万元,但样机未达大规模商业化落地标准,无法替代店员处理复杂场景下的补货与交易任务。
Kodiak AI 宣布其长途无人驾驶运营的安全论证措施(ARM)已提升至 99%,预计将于 2026 年底前在德克萨斯州 I-45 高速公路段启动无人驾驶商业服务。
香港理工大学研究人员发现,攻击者无需入侵电力通信网,仅需操纵电动汽车充电导航系统即可引导大量车辆集中至同一充电站,引发局部停电或削弱电网可靠性。此类攻击源于防护较弱的驾驶员端系统,可传导威胁电力系统安全,为跨域网络防御提供新视角。
针对现有机器人概率导航系统缺乏在线安全评估保护水平的问题,研究提出一种基于新型流形集合成员滤波器的安全关键激光雷达 - 惯性里程计(LIO)。该系统利用点云噪声与估计不确定性的闭式关系,设计了流形椭球体集合成员滤波器(OM-ESMF),为下游自主操作提供确定性的位置可行集作为安全参考。实验结果表明,该方法能为多种机器人在不同环境中提供有效的确定性在线安全参考。
这篇论文是发表在 npj Robotics 上的综述,全面回顾了接触丰富机器人任务中基于学习的控制方法,特别是如何确保探索与执行阶段的安全性。文章将现有方法分为安全探索和 safe execution 两类,涵盖了约束强化学习、风险敏感优化、不确定性建模、控制屏障函数和模型预测安全盾等技术。
推荐理由:该综述系统梳理了从经典方法到基础模型在接触丰富任务中的安全学习进展,为相关团队评估现有技术与未来方向提供参考。
针对标准重建损失法因图像固有难易度导致误判的问题,该方法提出沿训练时间和扩散时间双轴进行难度校准。通过引入参考模型校准(RMC)与时间自校准(TSC),成功将记忆化行为与图像重构难度分离,实现了无需文本描述的近乎完美的审计效果。实验表明,该方法在 x-、v-及ε预测等不同参数化架构上均显著优于现有攻击技术,相关代码已开源。
arXiv 论文介绍 LiDAR-SHIELD,这是一个统一的、完全 Docker 化的框架,用于对基于 LiDAR 的 3D 感知模型进行对抗鲁棒性压力测试。
论文提出了一种名为 PASA-KV 的方法,旨在攻击世界动作模型(WAMs)内部表示与动作生成之间的脆弱性。研究发现,仅凭表示空间的扰动幅度无法可靠预测闭环控制失败,关键在于扰动如何被路由到动作生成环节。该方法通过 Tail-AV 信号识别易受攻击的路由,并选择面向动作的键值对目标进行训练。实验在多个 WAM 系统及物理机器人上验证了该方法的闭环攻击效果及系统间的抗扰差异。
针对学习使能的 cyber-physical systems(CPS)缺乏系统级保证的问题,研究提出 Foundation Model Assurance Stack,通过神经符号架构、语义化形式化测试及组件化运行时监控约束基础模型。该方案在 arXiv 预印本中明确划分随机学习与形式推理的边界,旨在建立可认证且可部署的信任体系,涵盖从规范工程到生命周期认证的完整议程。
该研究提出了 TRIM,一种无需修改或重新训练底层检测器的轻量级运行时监控系统,用于检测 3D 目标检测中的漏检失败。该方法通过紧凑的通道统计总结中间激活值,并使用时序卷积网络处理这些摘要序列。
该论文审计了 LOL-v1 和 LOLv2-Real 两个低光照图像增强标准基准,发现其测试集标签与训练集存在显著分布差异(如 LOLv2-Real 测试标签比训练暗 14%)。这种偏移导致依赖测试集调优的方法性能虚高,且移除官方发布的测试设置会改变方法排名。作者提供了具体的报告建议以区分可校准的偏差与仅靠测试集调优带来的增益。