Reachability-Aware Diffusion Policy Optimization 预印本发布
该论文提出 Reachability-Aware Diffusion Policy Optimization (RADPO),一种用于连续控制强化学习的无模型安全感知扩散策略优化方法。
该论文提出 Reachability-Aware Diffusion Policy Optimization (RADPO),一种用于连续控制强化学习的无模型安全感知扩散策略优化方法。
该研究针对视觉语言模型(VLM)生成结构化输出时的安全对齐不足问题,利用三个涵盖直接伤害、社会偏见和情境安全的基准数据集,对比了问答与视觉定位两种输出模式下的拒绝率差异。
推荐理由:研究发现 VLM 在 grounding 任务上比问答更容易被诱导执行有害指令,提出了一种结合拒绝与能力数据的微调方案以修复此漏洞。
文章介绍隐私泄露水印(PLWs),这是一种恶意模型提供者可利用先前聊天历史触发的隐形水印技术。该攻击打破了传统隔离,使早期对话中提及的敏感关键词或语义线索能导致后续生成的无关图像携带可检测的水印。研究在 13 个敏感属性触发器和两个模型家族上验证,OmniGen2 等模型在检测到抑郁披露时准确率达 100%,误报率仅 1%。
论文指出在冻结的视觉语言动作(VLA)策略中,看似可行的动作可能无法通向安全的任务完成,存在可行性与似然性差距。作者推导了受限于安全任务完成的轨迹分布精确下一块边际,并提出一种基于有限候选集的近似方法,将其实例化为无需重训且仅在触发警报时运行的重排序器。在 Safety-CHORES 数据集上,该方法将平均累积安全成本降低 1.9%-57.5%,同时保持成功率与平均集数长度接近基线策略。
该研究提出潜在安全滤波器,在低维状态表示上认证安全性以抵抗解析描述约束。实验构建系统证明,若丢弃的安全相关动力学不可检测,则不存在能传递至物理系统的证书;反之,当子空间可检测时,校准的屏障可在有限裕度下转移真实安全。
论文提出 TAPDreamer 攻击框架,利用公开编码器构建固定局部扰动以攻击世界动作模型,无需访问目标策略输出。实验显示,在闭环评估中,单个冻结补丁覆盖约 6.5% 输入即可将 FastWAM 在 LIBERO 基准上的成功率从 97.7% 降至 0.0%,并显著降低 DreamWAM 和 Motus 模型的成功率,表明保护下游动作生成不足以防御此类攻击。
推荐理由:提出 TAPDreamer 攻击方法,证明仅保护下游动作生成不足,需同时防御针对共享视觉编码器的持久局部扰动。
本文介绍 Inspect Robots 框架,这是一个模块化、开源的工具,旨在开发和运行针对具身智能代理的评估。该框架通过自动化设置、执行和终止评估流程,将可定制的物理评估抽象与结果分析基础设施配对使用。作者利用此框架评估了基于前沿语言模型的六种策略的能力与安全表现。自发布以来,该框架在三个月内下载量接近 10 万次。本文已提交至 CoRL 2026 的 SPAIS 研讨会。
针对现有文本到图像模型易生成不安全内容且防御机制滞后的问题,该方法在去噪轨迹监测中引入强化学习进行可控引导。实验显示其在标准及对抗性评测集上均优于现有方法,同时保持感知质量与提示忠实度。代码将在论文被接收后发布。
该论文测试了视觉语言动作模型(VLA)对有害请求的拒绝能力,发现当任务意图以隐晦方式表达时,文本监控器几乎无法拦截,导致高达 95% 的隐含危害任务被执行且未触发警报。线性探针在基础模型中能区分有害与无害指令,但在机器人训练后这种区分能力显著下降,尤其是针对隐含危害。研究指出仅监测模型激活无法解决此安全缺口。
针对真实机器人系统中因负载或风扰导致的模型失配问题,本文提出了一种结合神经 ODE 与 conformal prediction 的在线学习增强控制屏障函数(Certifiable Online Learning-enhanced Robust Adaptive Control Barrier Function)。
当机器人团队将规划与互信委托给 LLM 智能体时,单个被攻陷的机器人可能破坏共享结果。本研究在可物理验证但需消耗预算的多机器人测绘任务中,将攻陷者视为受限于系统检测器的隐蔽对手,推导了谎言被验证概率的下界及地图误差上界。实验表明,当诚实机器人由 LLM 智能体担任时,上述界限在实际攻击花费的预算下均成立;同时发现 LLM 重检记录的选择无偏但重检量不可预测。
推荐理由:论文从系统理论角度推导了多机器人团队中 LLM 智能体被内部攻击时的谎言概率与地图误差上界,并在 LLM 诚实机器人的实验环境下验证了这些界限。
论文介绍 CrashSim 框架,利用真实世界事故先验指导多智能体交通仿真,以更可靠地复现撞击前的演化过程及事故类型分布。作者构建了包含超 4000 个碰撞及准碰撞场景的 nuCrash 数据集,闭环评估显示其比 nuScenes 更能暴露自动驾驶规划器的安全能力差异。
该论文提出一种为安全关键工作流分配 AI 参与及保障的形式化框架,涵盖确定性验证、统计校准准入等六种机制。研究者在包含 17 个单元的机翼梁结构分析流程中进行了实例验证,其中 AI 生成的 CAD 程序通过了全部 23 项确定性检查并一次获批。该案例展示了单元级的选择性 AI 参与和显式证据处理,未宣称工作流级可靠性或认证。
FCC 将外国先进移动机器人列为国家安全风险,禁止其进口销售,促使企业为数据安全和低延迟需求加速转向本地 AI 架构。这一监管变化推动工业界从依赖云端大语言模型转向在边缘硬件运行可微调的专用小语言模型(SLMs)。企业需在控制器、传感器及 AI 硬件间确保可靠集成与安全治理,以应对供应链透明度和运营自主性的新要求。
该预印本论文针对视觉语言模型(VLM)在安全关键场景下的鲁棒性提出质疑。研究发现,即使在极小的扰动范围(ε≤4/255)内,通过白盒威胁模型下的对齐策略,也能成功实现目标图像的语义替换。
推荐理由:研究表明在极小扰动下即可实现语义替换,揭示了 VLM 在安全关键场景下的脆弱性。
论文介绍 PI3D 攻击框架,针对三维环境中的多模态大语言模型(MLLMs),通过物理放置带文本物体而非数字图像编辑来实施提示词注入。研究解决了确定注入文本物体有效姿态(位置与朝向)的问题,确保物体摆放符合物理合理性。实验表明该攻击对多种 MLLMs 在多样相机轨迹下均有效,且现有防御手段不足以可靠抵御此类攻击。
该研究通过对比 RoboGuard 在表面计划与图细化轨迹上的判定,发现五类动作抽象中的 12 个受控案例存在差异而 16 个端到端控制符合预期。作者据此提出基于图的轨迹细化可作为轻量级缓解手段及物理 AI 安全监测器的诊断工具。论文包含 5 页正文、1 张图表,预印本状态待注册 DOI。
论文通过稀疏自编码器(SAE)对视觉语言动作(VLA)模型的内部表征进行机制分析,识别出与对抗补丁存在强相关性的特定特征。研究提出在推理阶段仅当线性探针检测到攻击时才抑制该特征的干预策略,该方法在不微调模型的前提下提升了鲁棒性。实验基于 LIBERO-10 数据集评估显示,条件式干预能改善间歇性攻击下的成功率,而持续应用相同干预则会显著降低策略性能。
针对 Qwen2.5-VL-7B-Instruct 的对抗扰动实验显示,图像像素统计无法预测模型是否被腐蚀,且目标 token 在词表中的排名固定为 3,488。研究发现视觉编码器对所有图像均产生同等程度的表征腐蚀,而语言解码器则通过差异化仲裁放大或抑制该信号。结果表明自回归 VLM 的对抗鲁棒性主要取决于语言解码器的先验而非视觉编码器。
CalCErt 是一种针对预训练可微分类器的后处理策略,通过结合经验校准估计与统计集中界,为对抗扰动下的置信度校准提供数据依赖的上界保证。该方法在 11 项医学图像分类任务及多种对抗扰动下评估显示,其认证的覆盖率显著高于基线策略且保持了具有竞争力的紧确性。代码已公开于相关 GitHub 仓库供复现验证。
该研究审计了固定 YOLOv8s 行人检测器在 PIE 和 JAAD 数据集上的域偏移解释性,发现基于删除的忠实度与检测强度强耦合。控制检测强度后,D-RISE 忠实度仍依赖领域(PIE 高于 JAAD),且非扰动式 EigenCAM 基线也存在类似分数耦合现象。结果证实了置信度控制的 XAI 审计对安全关键感知的重要性,论文已获准参加 ICVES 2026。
论文针对人形机器人全身运动跟踪中策略与运行时安全滤波器(如 CBF)独立设计导致的失配问题,提出 CoFiT 约束感知微调方法。该方法在 TWIST2 和 SONIC 场景下分别将违规时间减少 91% 和 21%,并在 Unitree G1 硬件上实现所有试验无需操作员干预,而基线方法需 50% 的试验被停止。
HERA 是一个针对智能体拒答问题的框架,通过自动构建可行与不可行任务对以及基于性能失败的协同进化流程,将智能体在保留任务上的完成率和拒答准确率分别提升至 76.7% 和 83.3%,并在 19 种其他大语言模型上实现了平均提升 15.3 个百分点的通用性。
VicOne LAB R7 通过实验证明,即便机器人遵循既定规则,被篡改的视觉、文本或音频输入仍会导致其做出错误动作。研究利用 Gemma 4 E4B 和 Nemotron 模型展示了海报文字与不可听音频如何误导机器狗与服务机器人,并指出 ROS 2/DDS 消息注入可触发意外移动。
Torc 将自动驾驶安全案例建立在工程师设计防故障系统、确保正常运行及网络安全,以及组织内建立清晰流程与安全文化的三大支柱之上。该框架强调开发阶段需纳入运营约束与监控维护需求,由首席安全官统筹以确保各域对齐。
针对复杂环境中 VLA 模型需平衡任务成功与意外接触的挑战,本文提出 FailBank 四阶段框架,将运行时反馈转化为持久的策略改进。该框架在 VLA-Arena 基准上评估显示,相比基线策略和纯运行时屏蔽方法,FailBank 能显著提升任务成功率并降低由策略引起的累积成本,证明运行时反馈可作为持续监督而非临时约束。
推荐理由:FailBank 框架利用运行时反馈实现 VLA 策略自我进化,在基准测试中显著提升了任务成功率并降低了累积成本。
NVIDIA Open Agent Safety Platform 为持续硅内智能体监控提供参考架构,旨在应对智能体 AI 带来的风险。该平台借鉴互联网兴起时的机遇与风险并存的历史经验,聚焦于理解当前代理型人工智能的发展现状与安全挑战。
新发布的 RoboHarm 基准测试了 Anthropic 的 Claude Fable 5.1、OpenAI 的 GPT-6 Astra 和 Ai2 的 MolmoAct2 在控制机械臂时的安全性。
VicOne 指出物理 AI 面临攻击者篡改感知或决策时的安全挑战,涵盖 BadVLA 等后门攻击、UniPwn 蓝牙漏洞及运行时感知操纵三类风险。NVIDIA Isaac Sim 搭配 VicOne Radeis 可在部署前验证对抗输入影响,而 VicOne Lab R7 演示显示无线漏洞链可在 60 秒内引发失控行为。
Edge Case 推出 AI 驱动的安全智能平台 Guardian,旨在为自动驾驶及复杂系统提供持续的系统级风险理解。Torc Robotics 作为其首个公开宣布的商业合作伙伴,利用该平台在长途货运自主卡车商业化进程中,实时监测自驾驶系统的整体安全画像。
DeepMind 推出 Gemini 3.8 Flash 及专为可信防御者提供的 3.8 Flash Cyber,后者在内部基准中漏洞发现成功率超 70%,CWE-Bench 补丁 pass@1 达 47.2%。两款模型均基于相同核心智能,通过长周期智能循环迭代优化,在软件工程和关键多步推理领域显著提升性能且成本更低。
Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。
Torc 利用最新一代车辆与执法、消防及急救部门合作,在测试场采集高质交互数据以增强 AV 3.0 软件对紧急车辆的感知与响应能力。仿真环境基于实测数据生成数千种排列组合,进一步提升了模型应对复杂紧急情况的能力。此举旨在扩大数据集多样性,确保自动驾驶系统在多变现实场景中安全可靠运行并建立公众信任。
随着 AI 智能体能力增强且运行周期延长,英伟达联合 OpenShell 及生态伙伴提出将安全信任融入应用架构。英伟达安全团队解析了新兴智能体栈各层级的角色与安全职责。该观点源自 NVIDIA Technical Blog 关于构建可信智能体应用的最新技术讨论。
Torc Robotics 宣布加入 Automotive Information Sharing and Analysis Center (Auto-ISAC),以加强网联商用车辆的网络安全协作。作为戴姆勒卡车旗下子公司,Torc 将借此与车企及供应商共享网络威胁情报并制定最佳实践,确保其面向美国长途货运的自动驾驶卡车产品在商业化部署中具备安全韧性。
Google DeepMind 推出 AI Control Roadmap,通过引入系统级安全层弥补模型对齐不足,将内部智能体视为潜在威胁并基于验证行为授予权限。
NVIDIA Hyperion 平台推出 Halos OS,作为其全栈安全系统的核心组件,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。
推荐理由:NVIDIA Hyperion 平台推出 Halos OS,提供符合 ISO 26262 ASIL D 的认证内核、标准化接口及 AI 护栏,旨在解决 Robotaxi 规模化部署中的系统级安全挑战。
Google DeepMind 联合 Schmidt Sciences、Cooperative AI Foundation 等机构宣布推出总额最高达 1000 万美元的多智能体安全研究资助计划,旨在应对大规模独立智能体交互带来的系统性风险。
推荐理由:DeepMind 联合多方发起百万美元资助计划,聚焦多智能体系统涌现行为、网络失效及跨平台身份协议等四大方向。
Kodiak 采用自研的 BreakPoint 工具结合概率风险评估(PRA)方法,量化评估其自动驾驶系统在罕见场景下的碰撞风险。该方法将不确定性纳入数学模型,通过对比人类驾驶基准数据,系统性缩小未知危险场景空间以验证安全性能。
特斯拉于 2026 年 2 月成功停止在加州营销中使用“Autopilot"一词,以回应加州 DMV 去年 12 月关于其误导消费者认为车辆具备自动驾驶能力的违规认定。此举使特斯拉避免了经销商和制造商牌照被暂停 30 天的处罚,此前该机构曾建议立即实施为期 30 天的暂停令。