Statistical Adversaries:清洁视觉数据集中天然存在的类后门对抗特征
论文分析 ImageNet 发现,数据集中某些与特定标签强相关的自然统计信号在去除随机相关性后,能直接且可预测地改变模型预测结果。这些‘统计对手’比通用扰动更具针对性且具备跨架构迁移能力,表明数据集的分布结构本身可能驱动漏洞,建议审计时将此类虚假结构视为潜在攻击面而非仅关注偏差或解释性问题。
论文分析 ImageNet 发现,数据集中某些与特定标签强相关的自然统计信号在去除随机相关性后,能直接且可预测地改变模型预测结果。这些‘统计对手’比通用扰动更具针对性且具备跨架构迁移能力,表明数据集的分布结构本身可能驱动漏洞,建议审计时将此类虚假结构视为潜在攻击面而非仅关注偏差或解释性问题。
该预印本研究了 LLM 在具身机器人中的安全依赖问题,发现可通过管理接口在未认证情况下替换人格设置和系统提示词。实验表明配置层攻击路径能引发物理硬件行为变化,而推理层的对抗输入被抵抗。
推荐理由:研究揭示了具身智能机器人管理接口存在配置层攻击漏洞,证明仅靠推理层的拒绝无法阻止未授权指令修改。
研究利用 FRET 工具将机器人辅助穿衣(RAD)案例的 146 条自然语言危害需求形式化为 117 条唯一 FRETISH 要求。分析显示 70.1% 的要求包含即时响应或顺序约束,且形式化过程暴露了歧义与假设。该工作证明 HRT 分类学与形式化方法提供互补视角,为机器人系统验证提供了从非结构化语言到可验证表示的过渡支持。
针对现有水印验证无法区分证据归属特定视觉实例的问题,论文提出 TetherMark 方法以防御跨实例移植攻击。该方法结合消息检查与关系检查,后者利用秘密补丁对选择、注册响应及自然对应传输来测试一致性。
针对专家修正预测(如乳腺超声 BI-RADS 描述)时“降低伤害”指标可能误导的问题,研究者提出一种可复现的修正审计协议。该协议在三个乳腺超声数据源上验证发现,单纯追求低伤害会牺牲有用增益并推高负对数似然;仅在结合有用增益、绝对风险及起始预测共同解读时,“降低伤害”才真正代表更好的修正效果。
该研究识别出视觉语言模型(VLM)在无明确请求下通过解释视觉事件提供有害协助的“场景状态安全隐患”。作者构建了包含 375 个图像 - 问题对的 SceneSafetyBench,涵盖初始、中等和终极三种场景状态及五种视觉呈现形式。
Gradient-guided Random Search (GRS) 提出一种针对像素稀疏攻击的鲁棒性防御方法,在 CIFAR-10 与 ImageNet 模型上表现优于或持平于 sparse-AutoAttack。该方法仅需一次前向与反向传播,运行速度比 sAA 成员快 3.7 至 5.0 倍,且无需依赖集成测试即可有效抵抗局部搜索攻击。
本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。
推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。
该论文提出 M3-Test,一种将干净输入与其单模态变体及完整联合扰动族对齐的覆盖率审计框架。研究发现,尽管四个视觉语言模型通过了 40 个单模态测试,仍有 26% 至 29% 的 Qwen 问题在联合扰动下失败,且仅靠最大强度角点无法消除此缺口。该工具支持将现有鲁棒性套件转化为请求级未测试账户,辅助接受度审查与回归分析。
针对骨架数据向第三方分析工具传输时的身份泄露问题,本文提出 MIRAGE 方法。该方法通过注意力机制计算原始坐标空间的残差并逐帧添加,无需目标骨架即可在线处理。
针对传统安全控制依赖二元区域划分的局限,该研究提出基于 RGB 与 LiDAR 观测的连续风险评估框架,融合动能、势能等四因子生成风险分数。方法将估计值集成至泊松安全函数并引入拉普拉斯引导场作为滤波器,实现在开放世界机器人导航中的在线监测与干预。团队在仿真餐厅场景中验证了该方法的有效性。
该论文发现现有面部隐私保护方法的评测结果存在缺陷:输入端直接喂入整图或检测框而非对齐裁剪,导致防御效果被高估;阈值设定沿用旧标准,在整图上产生偏差。作者通过引入可微分对齐算子并修正评分方式,在不重新生成图像的情况下,将转移攻击的规避保护降低了 56%,预算分配攻击降低 7%。实验显示,修正后的方法在三个未见识别器上性能提升显著,且改变了 L-infinity 转移攻击的排名顺序。
推荐理由:文章指出既有面部隐私评测因输入与阈值设定错误而高估了防护效果,并给出可复用的修正方法与实验数据。
本文介绍 ARC-2 框架,旨在解决自主系统在部署后如何维持合规的问题。该框架将合规性评估从静态认证转变为通过连续监控进行,并提出了四项扩展:在 CRAB 评估中纳入最坏的行为偏差验证;建立分层触发分类法以区分不同风险等级的违规;实施分阶段的平稳过渡协议,将运营授权撤回与物理关闭分离;引入环境偏差作为基线有效性条件,防止因环境漂移超出认证 ODD 而自动收缩权限。
推荐理由:该框架提出通过偏差管理实现自主系统部署后的持续合规,扩展了 ARC-1 架构以应对欧盟 AI 法案要求。
同星智能推出功能安全实车测试交钥匙方案,利用 TH7201 等硬件配合 TSMaster 上位机,覆盖 GB 17675—2025、GB 21670—2025 等四项强制性国标。该方案支持总线通信故障注入最大报文转发延时小于 1ms,实现从故障检测到安全维持的毫秒级闭环验证与便携实车部署。
加州机动车管理局(DMV)于 11 月 11 日下令禁止 Waymo 自动驾驶车辆在加州所有高速公路运营,原因是其车辆多次闯入 U.S. Route 101 和 Highway 280 的施工封闭区及与警车发生冲突。
论文提出 Watermark-based Adversarial Surface Perturbation (WASP) 方法,证明可见水印可作为对抗表面破坏文档理解性能。
Jiaxuan Li 提交的 Beyond Visual Cues 论文因测试集误用于训练导致数据泄露而被撤回,报告的最先进结果不可信。该研究提出的 STFER 框架旨在利用大视觉语言模型生成身份一致性文本以增强跨模态鲁棒性,但在 AT-USTC 数据集上的实验结论已失效。作者已撤稿并准备修正研究以防止传播不准确发现。
该论文提出 TEMPlate Entropy Regularisation (TEMPER) 方法,用于从 ArcFace 等人脸识别嵌入中移除性别和种族等软生物特征属性。该方法在变分自编码器的潜在空间学习线性映射,以最大化辅助分类器的预测熵并保留配对相似度。实验显示,相比十种先前的后处理方法,TEMPER 在降低属性泄露的同时保持了更高的真实匹配率。
针对车辆后轮抓地力丧失引发的过度转向问题,本文提出了端到端的自主驾驶方案,引入 QC-SAC 混合学习算法以克服专家示范数据不足及环境突变难题。实验表明该方法在打滑路面随机避障任务中表现优于现有基线,且经硬件在环仿真验证了其在物理执行器上的可行性,为实车安全控制提供了新的技术路径。
针对多模态强化学习(MRL)在自动驾驶中因时序不一致导致决策失败的问题,本文提出 Split Temporal Adversary (STA) 方法。该方法将多模态时序攻击统一为决策过程,通过历史状态延迟观测以消除模态特定噪声需求,并利用受害者策略的清洁动作识别敏感决策模式。
推荐理由:提出 STA 方法统一优化多模态攻击时机与选择,在 CARLA 仿真中使 PPO 碰撞率翻倍且尝试更少,揭示时序一致性是 MRL 的关键脆弱点。
针对欠驱动车辆安全约束设计困难且保守的问题,本文提出一种将验证过的相对坐标屏障迁移至同一家族中所有障碍物的方法。核心贡献包括表达状态相对于每个障碍物的广义闭包条件、将缺失信息表示为残差的提升定理,以及用于识别对称性不足情况的秩检验。作者在双积分器、平面飞机和 12 自由度四旋翼上验证了该方法,证明其能在无需重新训练的情况下迁移到新地图中,并在部署与快速启动实验中有效。
该论文提出了 AVD 系统,这是一个基于商用硬件构建的低成本多传感器遥操作轮椅平台,旨在解决严重运动与视觉障碍人士的独立移动问题。其核心贡献在于设计了以安全为导向的控制架构,确立了手动紧急停止和乘员摇杆优先于远程指令的静态权限层级,并实现了计算功能的分区与安全状态的心跳驱动切换。
针对大视觉语言模型(LVLM)易受细微输入扰动影响的问题,研究揭示了强攻击依赖精细迭代优化及表征差异在编码器中逐层放大的机制。为此提出 SmoothShift 方法,结合局部平滑削弱细粒度扰动模式,利用空间变换破坏其与编码器补丁网格的对齐,从而大幅减弱攻击效果。
该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。
推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。
论文提出一种方法,将控制屏障函数(CBF)的安全约束蒸馏到强化学习策略中,使系统在部署时无需运行集中式优化滤波器即可保持安全。该方法通过隐式 Q 学习和合成近碰撞状态进行蒸馏,证明了损失函数能界定策略的约束违反程度和碰撞概率。
ShiftGuard 研究在 CIFAR-10 数据集上验证了最大软概率(MSP)结合预测熵的融合评分优于单纯的特征距离信号,错误检测 AUROC 达 0.9235。在仅用 1,000 张校准图像且设定 5% 风险目标时,该融合方法能接受 84.82% 测试样本并将观测误差控制在 2.05%,而单纯特征距离无法达到此认证标准。
VicOne 团队利用 AI 辅助研究在不到两天的时间内发现了 28 个涉及 Google、NVIDIA 和 Meta 等项目的零日漏洞,涵盖开发训练、仿真验证及部署运行三个阶段。
德国图林根州情报机构负责人 Stephan Kramer 警告称,具备联网功能的特斯拉汽车可能构成间谍风险,并呼吁有关部门按照审查中国车企同样严格的标准对特斯拉进行安全审查。
针对视觉系统从分类器向 VLM 及 LVLM 演进中存在的攻击面问题,本文提出一种互补的鲁棒性指标 Structural Gradient Alignment (SGA)。
该研究评估了针对 YOLOv3、YOLOv4 检测器配合 SORT 等系统的图像特定与图像无关攻击,发现 HOTA 指标在最强攻击下从约 56% 骤降至 17%,MOTA 甚至跌至 -772.60%。实验基于 CARLA 仿真平台进行,揭示了仅凭检测精度无法表征对下游轨迹估计的潜在影响。论文已上传至 arXiv,代码与权重暂未提及开放许可。
针对Talking-face(TF)深伪视频缺乏真实生理特征的问题,论文提出PulseGuard框架,通过RhythmFormer提取rPPG波形并训练轻量分类器区分真迹与合成痕迹。
该研究提出"AI Sandbox"装置定义及五种原型架构,建立十五维测量指标与最弱环节许可规则以界定部署主张。框架涵盖驾驶、工业控制等四类实例的威胁建模,明确实验边界对证据解读的影响并映射至标准规范。预印本 arXiv:2606.18532 含 42 页正文及图表,旨在识别受控实验支持的声明与需进一步验证的假设。
针对医疗数据稀缺、昂贵且受严格监管的问题,该研究提出了 DataCook 框架,这是一种基于抗对抗指纹的部署阶段使用控制机制。通过私有的‘烹饪’过程将原始样本转化为嵌入指纹的数据,使得在该数据上训练的模型在评估于同样处理过的输入时保持高效用,而在未处理的原始输入上性能显著降低。
针对 Vision Transformers 在测试时依赖高注意力分数抑制对抗补丁的防御漏洞,本文提出对抗诱饵方法。该方法将诱导错误预测与规避防御解耦,通过优化独立诱饵区域提升目标令牌注意力并压制非目标竞争令牌,从而在不牺牲攻击有效性的前提下误导基于注意力的防御机制。实验表明,该方法在多种架构和攻击形式下均能成功重定向高注意力分数,揭示了仅用注意力作为对抗相关性指标的根本局限。
针对非结构化环境中单一备份策略失效的挑战,本文提出了策略库控制屏障函数(PL-CBF),这是一种运行时安全滤波器。该方法通过评估满足约束的并行有限视界回滚结果,从候选策略中选择容许控制集体积最大的策略,并求解二次规划以最小化对名义输入的修改。研究在室内导航、高速驾驶及四旋翼飞行等仿真场景,以及移动机器人和定制四旋翼的硬件实验中,均证明了其在保持毫秒级计算时间的同时提升了安全性能。
推荐理由:提出基于并行有限视界回滚的策略库控制屏障函数,在仿真与硬件实验中验证了其在复杂动态环境下的实时安全性。
该论文针对多模态大语言模型(MLLM)在自动驾驶系统中的脆弱性,提出了 PhysPatch 框架。该方法联合优化补丁位置、形状和内容,引入基于语义的掩码初始化策略以确保物理可行性,并利用 SVD 局部对齐损失提升跨模型迁移能力。实验表明,PhysPatch 能显著引导 MLLM 系统产生目标一致的感知与规划输出,且补丁始终放置在自动驾驶场景的物理可行区域。
Bo Han 提出一种两通道受限 GRPO 方法,通过将安全定义为有害协助与过度拒绝的预算率并修复梯度抵消问题,使 Qwen3-VL-2B 在对抗提示下的有害响应从 8.9% 降至 4.8%,同时保持良性查询的低误拒率和基准测试表现。
该研究审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 等五款开源医疗 VLM,在包含 6,048 个问题的 ChestX-ray14 数据集上发现,尽管模型能流利描述气胸体征,但在 432 张阳性 X 光片中零检出或仅部分检出。
推荐理由:审计显示五款医疗 VLM 在气胸检测上存在严重诊断特异性失效,内部表征正常但输出被抑制,仅靠聚合准确率无法评估真实能力。
论文提出 Poison-then-Hide 方法,通过在预训练编码器中植入潜伏后门并在后续微调时激活,实现高达 97% 的攻击成功率。该方法包含触发器优化、基础编码器中毒和目标遗忘三个组件,能在全模型微调的域转移场景下保持有效。研究发现联合学习良性任务对攻击成功至关重要,且标准检测与缓解防御无法完全移除该后门,其在良性微调后可能重现。
DashBench 基准测试了 25 个视频大语言模型在涵盖碰撞及非碰撞类共 1709 条精心筛选的驾驶视频上的表现。结果显示所有被评估模型均远低于安全关键应用所需阈值,常误判危险事件或产生幻觉。该基准结合严格评测工具与详细诊断报告,旨在推动更安全、可解释的自动驾驶系统发展。代码和数据将在指定链接共享。