Statistical Adversaries:清洁视觉数据集中天然存在的类后门对抗特征
论文分析 ImageNet 发现,数据集中某些与特定标签强相关的自然统计信号在去除随机相关性后,能直接且可预测地改变模型预测结果。这些‘统计对手’比通用扰动更具针对性且具备跨架构迁移能力,表明数据集的分布结构本身可能驱动漏洞,建议审计时将此类虚假结构视为潜在攻击面而非仅关注偏差或解释性问题。
论文分析 ImageNet 发现,数据集中某些与特定标签强相关的自然统计信号在去除随机相关性后,能直接且可预测地改变模型预测结果。这些‘统计对手’比通用扰动更具针对性且具备跨架构迁移能力,表明数据集的分布结构本身可能驱动漏洞,建议审计时将此类虚假结构视为潜在攻击面而非仅关注偏差或解释性问题。
针对现有水印验证无法区分证据归属特定视觉实例的问题,论文提出 TetherMark 方法以防御跨实例移植攻击。该方法结合消息检查与关系检查,后者利用秘密补丁对选择、注册响应及自然对应传输来测试一致性。
针对专家修正预测(如乳腺超声 BI-RADS 描述)时“降低伤害”指标可能误导的问题,研究者提出一种可复现的修正审计协议。该协议在三个乳腺超声数据源上验证发现,单纯追求低伤害会牺牲有用增益并推高负对数似然;仅在结合有用增益、绝对风险及起始预测共同解读时,“降低伤害”才真正代表更好的修正效果。
该研究识别出视觉语言模型(VLM)在无明确请求下通过解释视觉事件提供有害协助的“场景状态安全隐患”。作者构建了包含 375 个图像 - 问题对的 SceneSafetyBench,涵盖初始、中等和终极三种场景状态及五种视觉呈现形式。
Gradient-guided Random Search (GRS) 提出一种针对像素稀疏攻击的鲁棒性防御方法,在 CIFAR-10 与 ImageNet 模型上表现优于或持平于 sparse-AutoAttack。该方法仅需一次前向与反向传播,运行速度比 sAA 成员快 3.7 至 5.0 倍,且无需依赖集成测试即可有效抵抗局部搜索攻击。
本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。
推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。
该论文提出 M3-Test,一种将干净输入与其单模态变体及完整联合扰动族对齐的覆盖率审计框架。研究发现,尽管四个视觉语言模型通过了 40 个单模态测试,仍有 26% 至 29% 的 Qwen 问题在联合扰动下失败,且仅靠最大强度角点无法消除此缺口。该工具支持将现有鲁棒性套件转化为请求级未测试账户,辅助接受度审查与回归分析。
针对骨架数据向第三方分析工具传输时的身份泄露问题,本文提出 MIRAGE 方法。该方法通过注意力机制计算原始坐标空间的残差并逐帧添加,无需目标骨架即可在线处理。
针对传统安全控制依赖二元区域划分的局限,该研究提出基于 RGB 与 LiDAR 观测的连续风险评估框架,融合动能、势能等四因子生成风险分数。方法将估计值集成至泊松安全函数并引入拉普拉斯引导场作为滤波器,实现在开放世界机器人导航中的在线监测与干预。团队在仿真餐厅场景中验证了该方法的有效性。
该论文发现现有面部隐私保护方法的评测结果存在缺陷:输入端直接喂入整图或检测框而非对齐裁剪,导致防御效果被高估;阈值设定沿用旧标准,在整图上产生偏差。作者通过引入可微分对齐算子并修正评分方式,在不重新生成图像的情况下,将转移攻击的规避保护降低了 56%,预算分配攻击降低 7%。实验显示,修正后的方法在三个未见识别器上性能提升显著,且改变了 L-infinity 转移攻击的排名顺序。
推荐理由:文章指出既有面部隐私评测因输入与阈值设定错误而高估了防护效果,并给出可复用的修正方法与实验数据。
论文提出 Watermark-based Adversarial Surface Perturbation (WASP) 方法,证明可见水印可作为对抗表面破坏文档理解性能。
Jiaxuan Li 提交的 Beyond Visual Cues 论文因测试集误用于训练导致数据泄露而被撤回,报告的最先进结果不可信。该研究提出的 STFER 框架旨在利用大视觉语言模型生成身份一致性文本以增强跨模态鲁棒性,但在 AT-USTC 数据集上的实验结论已失效。作者已撤稿并准备修正研究以防止传播不准确发现。
该论文提出 TEMPlate Entropy Regularisation (TEMPER) 方法,用于从 ArcFace 等人脸识别嵌入中移除性别和种族等软生物特征属性。该方法在变分自编码器的潜在空间学习线性映射,以最大化辅助分类器的预测熵并保留配对相似度。实验显示,相比十种先前的后处理方法,TEMPER 在降低属性泄露的同时保持了更高的真实匹配率。
针对大视觉语言模型(LVLM)易受细微输入扰动影响的问题,研究揭示了强攻击依赖精细迭代优化及表征差异在编码器中逐层放大的机制。为此提出 SmoothShift 方法,结合局部平滑削弱细粒度扰动模式,利用空间变换破坏其与编码器补丁网格的对齐,从而大幅减弱攻击效果。
该论文研究了视觉语言动作(VLA)模型中的新型后门攻击,提出结合触发器激活与指令条件抑制的设计。研究通过三种变体(跨模态触发、自抑制触发和多触发)在 SmolVLA 和 OpenVLA 上进行了评估,结果显示此类攻击能显著降低检测率并维持高成功率,同时保持清洁任务的完美性能,确立了条件抑制作为评估 VLA 后门威胁的重要维度。
推荐理由:该研究揭示了 VLA 模型中可被指令条件抑制的后门攻击机制,为评估此类安全威胁提供了新的维度。
ShiftGuard 研究在 CIFAR-10 数据集上验证了最大软概率(MSP)结合预测熵的融合评分优于单纯的特征距离信号,错误检测 AUROC 达 0.9235。在仅用 1,000 张校准图像且设定 5% 风险目标时,该融合方法能接受 84.82% 测试样本并将观测误差控制在 2.05%,而单纯特征距离无法达到此认证标准。
针对视觉系统从分类器向 VLM 及 LVLM 演进中存在的攻击面问题,本文提出一种互补的鲁棒性指标 Structural Gradient Alignment (SGA)。
该研究评估了针对 YOLOv3、YOLOv4 检测器配合 SORT 等系统的图像特定与图像无关攻击,发现 HOTA 指标在最强攻击下从约 56% 骤降至 17%,MOTA 甚至跌至 -772.60%。实验基于 CARLA 仿真平台进行,揭示了仅凭检测精度无法表征对下游轨迹估计的潜在影响。论文已上传至 arXiv,代码与权重暂未提及开放许可。
针对Talking-face(TF)深伪视频缺乏真实生理特征的问题,论文提出PulseGuard框架,通过RhythmFormer提取rPPG波形并训练轻量分类器区分真迹与合成痕迹。
针对医疗数据稀缺、昂贵且受严格监管的问题,该研究提出了 DataCook 框架,这是一种基于抗对抗指纹的部署阶段使用控制机制。通过私有的‘烹饪’过程将原始样本转化为嵌入指纹的数据,使得在该数据上训练的模型在评估于同样处理过的输入时保持高效用,而在未处理的原始输入上性能显著降低。
针对 Vision Transformers 在测试时依赖高注意力分数抑制对抗补丁的防御漏洞,本文提出对抗诱饵方法。该方法将诱导错误预测与规避防御解耦,通过优化独立诱饵区域提升目标令牌注意力并压制非目标竞争令牌,从而在不牺牲攻击有效性的前提下误导基于注意力的防御机制。实验表明,该方法在多种架构和攻击形式下均能成功重定向高注意力分数,揭示了仅用注意力作为对抗相关性指标的根本局限。
Bo Han 提出一种两通道受限 GRPO 方法,通过将安全定义为有害协助与过度拒绝的预算率并修复梯度抵消问题,使 Qwen3-VL-2B 在对抗提示下的有害响应从 8.9% 降至 4.8%,同时保持良性查询的低误拒率和基准测试表现。
该研究审计了 MedGemma-4B、Lingshu-7B、HuatuoGPT-Vision-7B、Qwen2.5-VL-7B 和 MedVLM-R1 等五款开源医疗 VLM,在包含 6,048 个问题的 ChestX-ray14 数据集上发现,尽管模型能流利描述气胸体征,但在 432 张阳性 X 光片中零检出或仅部分检出。
推荐理由:审计显示五款医疗 VLM 在气胸检测上存在严重诊断特异性失效,内部表征正常但输出被抑制,仅靠聚合准确率无法评估真实能力。
论文提出 Poison-then-Hide 方法,通过在预训练编码器中植入潜伏后门并在后续微调时激活,实现高达 97% 的攻击成功率。该方法包含触发器优化、基础编码器中毒和目标遗忘三个组件,能在全模型微调的域转移场景下保持有效。研究发现联合学习良性任务对攻击成功至关重要,且标准检测与缓解防御无法完全移除该后门,其在良性微调后可能重现。
DashBench 基准测试了 25 个视频大语言模型在涵盖碰撞及非碰撞类共 1709 条精心筛选的驾驶视频上的表现。结果显示所有被评估模型均远低于安全关键应用所需阈值,常误判危险事件或产生幻觉。该基准结合严格评测工具与详细诊断报告,旨在推动更安全、可解释的自动驾驶系统发展。代码和数据将在指定链接共享。
DGSR 通过构建动态语义交互图,在冻结预训练主干的前提下同时支持图像与视频生成。该方法在 12 项文本到图像评测中取得最低攻击成功率(ASR),并将文本到视频的非法帧率较最强基线降低 41.2%,有效平衡了内容安全与生成保真度。
论文 GARD 针对 CLIP 等多模态对比学习模型易受后门攻击的问题,提出一种目标与触发器无关的后处理防御方法。该方法利用有损编码器对全局和局部扰动的敏感性差异,优化互补的对抗探针以最大化位移干净图像表征,随后将扰动后的表征与解耦的干净锚点重新对齐并保留图文对齐能力。
针对对抗训练中伪攻击导致损失增加却无法改变模型置信度结构的问题,论文提出两种互补方法:一是结合交叉熵和 KL 散度的混合目标以同时破坏预测精度与分布一致性;二是通过最大化置信流形上的分布距离进行几何重构。理论分析表明最优扰动方向对齐 Fisher 信息矩阵的主特征向量,并提出了避免高维矩阵计算的算法。实验显示该方法在多个数据集和架构上优于现有方法,尤其在置信度区域的结构化扰动方面表现突出。
论文提出稀疏编码器攻击潜在方差(SEAL)框架,通过可微 top-k 掩码联合优化扰动位置与值,并引入显著性引导的分散惩罚以保护人脸视觉质量。实验表明该方法在 CelebA-HQ 和 VGGFace2 数据集上 PSNR 超过 41 dB、SSIM 达 0.97,同时将扩散个性化后的身份相似度降至 0.15 以下。代码与数据已公开。
该方法提出一种无需训练且架构无关的测试时防御机制,通过引入微小平移扰动对齐特征嵌入以抵抗对抗攻击。实验显示,在各类攻击下,图像分类任务可恢复高达 68.1% 的准确率损失,立体匹配和光流任务分别恢复 71.9% 和 29.2%,首次为密集预测任务建立通用防御方案。该方法已接受 NeurIPS 2026 会议,代码与论文公开于 arXiv。
针对文本到图像扩散模型的‘概念擦除’(如 NSFW 内容),现有提示攻击仅测试条件字符串能否检索目标概念,无法衡量冻结生成器对该概念的分配概率。本文提出‘最小动作审计’方法,通过计算驱动冻结反向过程进入检测器定义的事件所需的最小控制成本(即路径空间 KL 散度或事件负对数概率)来量化残留概率。
该论文研究了在仅能获取 RGB 输出且不知晓部署提示词的情况下,对视觉上下文学习模型的鲁棒性攻击问题。作者提出了一种自提示代理(SPS)方法以跨未知提示迁移攻击,并展示了颜色劫持和任务劫持两种攻击手段能有效降低目标实例的可见性与区分度,导致下游检测模型性能显著下降。
该研究提出 MGE 框架,利用成员推断分类器信号将数据提取转化为条件生成任务,并通过对抗梯度与并行分支解码提升效率。在图像生成基准测试中,MGE 成功从预训练扩散模型中提取数百张图像,揭示了其固有的训练数据泄露安全隐患。
针对扩散 Transformer 模型生成色情、暴力及版权侵权等风险内容的难题,研究提出了一种无需训练即可在推理阶段生效的防护方案。该方法通过量化注意力头的敏感度构建“注意力头向量”作为判别特征,并利用动量策略动态追踪与自适应抑制高风险 Token 的逻辑值。实验表明,该技术在有效压制各类有害内容并抵御对抗性提示的同时,显著保留了图像生成质量且具备跨模型泛化能力。
研究揭示参数高效微调(LoRA)无法单独防止联邦学习中的私有数据泄露,因低秩更新削弱了服务器可用的梯度信号。论文提出一种结合可训练位置嵌入的空间锚定生成反演框架,在 CIFAR-10、CelebA 和 CARS 数据集上将重建图像 PSNR 提升 7.83-10.14 dB。该工作表明需精心设计位置嵌入以暴露并防御隐私信息泄露风险,相关成果已获 WACV 2027 接收。
RLGPA 提出在线强化学习调度器,在硬查询预算下动态调整决策型稀疏对抗样本的扰动支持集粒度。该方法在 CIFAR-10 以 0.01 稀疏度实现 61% 目标成功率(优于 SparseEvo 的 25%),ResNet50/ViT 在 0.005 稀疏度下分别达 75.5%/73.0%。固定探测测试显示,40 张图像内无需更新即可将中位数 L0 从 165 降至 23,代码已公开。
GhostTac 是一种针对机器人触觉传感器的无接触攻击方法,利用电磁干扰(EMI)的非线性整流效应和带宽限制放大特性,绕过板载滤波器制造持续的直流偏移,从而稳定地扭曲测量结果。
推荐理由:该研究揭示了电磁干扰可无接触操控触觉传感器的新攻击向量,并在多种传感器与灵巧手上验证了有效性。
针对有损压缩导致后门触发器失效的问题,研究提出通用攻击重激活与压缩自适应攻击两种策略。实验表明,利用 ROI 编码机制可在 JPEG 等二进制流中保留恶意信息并成功重激活。该工作被 NeurIPS 2026 接收,为对抗数据压缩带来的安全挑战提供了新方案。
该研究指出当前 AI 生成视频检测基准存在对来源语料的依赖偏差。作者提出通过固定帧类型模式消除至少 2 秒片段的来源泄露,并发现仅靠重编码无法完全解决运动矢量带来的区分度。工具包与评估集清单已公开,建议结合多基准分数与其他真实集合的误报率来解读检测结果。
针对训练数据可能来自受损第三方的威胁模型,报告提出三种实用的后门攻击防御“技巧”。其中一种在训练时检测中毒身份,另外两种在推理前过滤可疑输入。所有方法均包含动机、算法及计算影响评估,并在真实人脸识别工作负载上验证了有效性。