WildFakeToolBench:基于网络开源工具的 AI 生成图像检测器评测基准
WildFakeToolBench 引入由 220 个公开来源衍生出的 156 个可执行图像处理工具,在无需本地 GPU 的情况下评估 AI 生成图像检测器的规避风险。
WildFakeToolBench 引入由 220 个公开来源衍生出的 156 个可执行图像处理工具,在无需本地 GPU 的情况下评估 AI 生成图像检测器的规避风险。
审计显示同一疾病下,SkinCon 数据集中深色皮肤的“红斑”标注概率仅为浅色皮肤的 0.17 倍,而色素沉着与减退的标注则分别高出 6.2 和 4.5 倍。基于此偏差训练的概念模型会复现漏诊红斑的模式,且三种标签错误检测器在发现此类遗漏时均不如仅基于疾病的基线模型有效。研究建议必须在每个子群体内审计概念标注,方可信任基于这些标注构建的解释。
本文针对自动驾驶等现代自主物理系统的黑盒特性,扩展了实际因果框架以处理连续输入变化。作者提出了距离加权的实际原因和责任度概念,利用所需避免失效的变化幅度而非仅计数来衡量因果影响。研究提出了一种高效的、与系统无关的解释推导算法,并在两个自动驾驶仿真器的黑盒神经网络控制器环境中进行了实验评估,结果显示该方法比当前的离散方法提供更有效的故障指导。
该论文研究了将基于知识图谱嵌入和贝叶斯推断的车道变更预测集成到自动驾驶决策中的效益。在 CARLA 仿真的高风险合流场景中,模型能提前约 3-4 秒预测周围车辆的变道意图。
推荐理由:该研究在 CARLA 仿真中验证了基于知识图谱嵌入与贝叶斯推断的变道预测,相比反应式策略显著降低峰值减速度并提升乘坐舒适性。
针对现有基准多关注模型能力而忽视 Agent Harness 评估的问题,该研究提出 TraceTrial-Bench,从上下文、执行、治理等七个维度构建 95 个专家级任务。
该研究提出了一种针对随机神经控制屏障函数的可验证安全合成方法,涵盖平滑激活与 ReLU 两种情况。团队在倒立摆、Darboux 及单icycle模型三个案例中验证了框架有效性,其中平滑情形无需验证即可生成,而 ReLU 情形采用闭环验证策略。
论文提出了一种名为 SLASH 的被动式光学攻击方法,利用镜头或保护盖上的微小划痕在特定光照条件下产生结构化伪影,从而系统性扭曲深度线索。研究在 nuScenes 数据集及真实物理实验中验证了该方法对单目深度估计和 3D 目标检测模型的显著影响,导致车辆距离估算误差高达 32% 至 36%,揭示了硬件缺陷作为潜在触发式对抗机制的新风险。
该报告描述了一种利用商用软件定义工具,为物联网及多机器人网络实施动态微分段的实验室实例。系统根据资产功能与健康标签定义细粒度策略,并自动将动态策略部署至软件中。演示表明该方案能实时隔离威胁并在面临干扰时维持稳健运行。
针对颅骨缺损重建任务,研究对三款预训练形状补全基础模型进行了零样本审计。在 239 个案例中,除一个特化模型外,所有模型输出均因与残留骨骼相交而无法植入临床。该 arXiv 论文指出此类模型目前不可信且不可用,仍需开展可信基础研究。
针对自动驾驶等自主系统的故障分析难点,本文区分了旨在复现故障的“充分解释”和旨在防止故障的“必要解释”。作者形式化了必要解释的概念,将其置于实际因果关系框架下,并提出了基于因果责任的近似算法。实验表明该方法在反事实生成上优于现有方法,为故障规避提供了统一的因果理论支持。
针对边缘部署的视觉语言模型(VLM)在安全关键系统中的物理对抗鲁棒性问题,该研究提出条件攻击成功率(cASR)作为统一指标,通过佩戴对抗补丁的人体图像测试 VLM 与目标检测器的表现。
雷军在 2026 世界智能网联汽车大会表示,没有安全其他都是零,小米目标做同档最安全的车。为此公司成立独立的 VSR 汽车安全研究中心及专门安全部,组建超 3000 人团队并开展大规模路测与拆车直播。小米还依托 Mimo 基座大模型 2.6 版推动整车智能,坚持“人车家全生态”战略共建开放平台。
NVIDIA Sentry 是专为物理 AI 智能体设计的运行时安全软件框架,旨在解决智能体在执行任务时绕过安全控制并跨越边界的风险。该框架通过独立于智能体的监控与执行机制,防止其篡改或禁用底层工具、凭证及服务。此方案确保在利用工具和服务达成目标的过程中,系统能持续维持安全边界不被突破。
问界用户服务发布说明,针对 2026 年 10 月 17 日榆林神木市事故回应称,事发时车辆处于人驾状态,车速高达 139.1km/h(限速 50km/h),撞击交通灯立柱后机舱起火。官方分析高速撞击引发线路短路及油液泄漏导致燃烧,否认“电池爆燃”与“智驾撞击”等不实信息,正配合调查。
这篇博士论文提出训练神经隐式表示来离线学习哈密顿 - 雅可比(HJ)可达性解,以在实时控制中区分安全与必撞状态。研究展示了五种方法:前四种将学习到的函数作为模型预测控制的终端约束或控制巴利尔函数的候选项,第五种则通过顶点输入的并行树搜索生成标签,解决了网格求解器限制低维模型的问题。仿真和硬件实验表明,该方法在短视域和移动障碍物场景下比几何及手工设计的基线具有更好的碰撞避免能力。
论文提出 RoboFake 概念,指代由真实人脸驱动、生成语音并同步口型的人形机器人所构成的新型演示攻击。研究在物理机器人视频、合成视频及渲染视频中测试了三种公开人脸呈现攻击检测模型和六种深伪检测器。
针对全局$\ell_1$预算限制,研究通过精确循环投影在APGD-$\ell_1$等三种方法中引入每坐标上限。实验显示,在18种标准模型设置下,上限设为32/255时保留了97%的攻击成功率且峰值幅度下降80%,而直接后处理裁剪仅保留88个百分点的成功率。结果确立了扰动集中程度作为$\ell_1$攻击评估的互补维度,适用于不同模型与攻击场景。
arXiv 论文提出一种用于多机器人协作的安全通信包装器算法,该算法利用各机器人上的异常检测器生成的信任值流,通过 Safe Anytime-Valid Inference 方法筛选出可信链路。
推荐理由:提出一种基于信任值的通信包装器算法,能在存在恶意链路的情况下以高概率排除受损连接并快速恢复对合法链路的信任。
针对视频分割模型的类别遗忘问题,现有评估算法逐帧检查导致低估泄露风险。研究证明攻击者通过平均两秒视频片段即可恢复被遗忘类别,且信号源于跨帧冗余而非物体轨迹。论文提出 PACE 方法,利用置换不变池化对抗判别器和双向时间一致性目标直接抑制冗余。
该研究明确定义重用早期治理控制结果的效度条件,并验证了基于 Ed25519 数字签名的“失效关闭”发布门能阻断九成操纵场景。对 714 个公开数据版本控制流水线的回放显示,仅按声明依赖重用结果可避免 83.4% 的执行阶段,但仍有 3.3% 的提交因未声明依赖导致重用错误代码或配置。
该研究指出前沿模型在通过代理 harness 控制机器人时存在安全隐患,即便面对常识性危险(如将刀放入玩具篮)也会尝试执行且从不引用风险。作者提出一种可选的运行时安全检查方法:在执行首次动作前,利用相同相机帧询问模型是否会执行指令。
推荐理由:作者提出一种运行时安全检查机制,通过在动作执行前询问模型是否应执行指令来拦截有害操作。
RoboBusiness 2026 今日在圣克拉拉会议中心开幕,庆祝行业 20 周年并探讨未来二十年机遇。上午议程涵盖 Rodney Brooks、Agility Robotics 及 UC Berkeley 专家的主题演讲,以及 Instawork、Core Matter Labs 等关于物理 AI 数据与供应链的研讨。
该论文提出了联合像素 -提示词优化(JPPO)框架,将可见提示词提升为对抗变量,在受控输入威胁模型下对图像和提示进行耦合分阶段优化。实验显示,该方法在多模态视觉语言模型上实现了显著的延迟与能耗放大效应,揭示了当前多模态服务防御的结构盲点,并推动了成本感知鲁棒性评估的需求。
论文提出 FairYield 基准及“同等条件下”和“自洽性”两种测试方法,评估 LLM 与 VLM 在行人礼让决策中的偏差。研究发现模型预测的性别、种族、宗教、残疾状况、年龄、肤色和社会经济地位均能影响其礼让行为。研究呼吁重新审视通用常识模型的范式或解决下游偏见问题。材料为 arXiv 预印本,未提及同行评审状态。
研究揭示 C2PA 元数据断言人类创作与像素水印标识 AI 生成可共存且互不依赖的“完整性冲突”。团队构建无需密码学妥协的元数据清洗工作流,并提出联合评估协议,在涵盖四种冲突状态及三种扰动条件的 3,500 张测试图像上实现 100% 分类准确率。该成果证明填补验证层差距技术可行且必要,论文已获 CVPR 2026 研讨会录用。
针对大视觉语言模型(LVLM)黑盒对抗攻击中存在的梯度缺失与多模态边界复杂问题,该研究指出传统方法因 ViT 平移敏感性和源目标结构不对称导致梯度方差高。为此提出 M-Attack-V2,引入多裁剪对齐、辅助目标对齐、补丁动量及补丁多样化代理集成等机制以稳定转移方向。
针对遮挡环境下自动驾驶难以观测安全风险的问题,本文提出了一种基于概率不变性的安全证书方法。该方法通过放松对风险关键状态的严格可观测性要求,为自动驾驶系统提供线性动作约束,将潜在风险概率限制在容忍范围内。研究在 CARLA 仿真器上进行了测试并与现有技术对比,结果表明该方法能在实时控制中保障长期安全性,且不过于保守并能透明地暴露风险。
针对参考图像条件化视频生成器难以预测物理危害的问题,本文提出 ICAT 基准,利用结构化风险记忆和人工验证构建包含 909 个评估单元的测试集。结果显示,即便初始状态和风险动作被保留,六种主流生成系统中最强者在八选一筛选下的严重后果严格成功率仅为 23.5%,暴露了复现风险动作与生成其文档化后果之间的差距。该工作已接受 NeurIPS 2026 海报展示。
该工作针对不确定环境中自主智能体的可靠性和规则遵循问题,提出了 Constitutional Controller (CoCo) 框架。该方法融合概率符号白盒推理与深度学习,引入“自怀疑”概念(基于速度、传感器状态等特征的概率密度),在真实空中移动研究中展示了其在复杂不确定环境下安全合规导航的优势。论文已接受发表于 2026 IEEE/RSJ IROS 会议。
该论文研究了 3D Gaussian Splatting (3DGS) 的安全漏洞,发现其自适应密度控制机制存在固有缺陷,可被用于在场景几何中嵌入不可见的恶意后门。作者提出了 GaussTrap 框架,通过对抗注入、几何稳定和全局保真度恢复三个阶段,实现在特定视角诱导目标视觉错乱的同时保持其他视角的光照真实感。实验表明该方法能有效触发攻击且难以检测,代码已开源。
该研究发现了磁触觉传感器存在的物理漏洞 PhantomTac,攻击者仅需在物体表面粘贴厚度约 0.5 mm、无电池的磁性标签即可篡改力感知数据。实验表明,这种隐蔽的攻击能绕过现有抗干扰机制并劫持闭环控制流程,在抓取位置偏移小于 8 mm 时攻击成功率超过 95%,可导致捏碎或掉落物体。论文提出了多模态一致性防御机制以缓解此类物理层安全威胁,相关内容已接受于 ACM CCS 2026。
推荐理由:研究揭示了磁触觉传感器的物理漏洞,提出了一种无需接触设备的隐蔽攻击方案及多模态一致性防御机制。
论文揭示了基础模型作为智能体时潜伏投毒攻击的两大风险:无害微调可激活未见过的新危害行为及多种危害行为的共存激活。作者提出 LookAhead Defense 方法,利用投毒者必须保留发布阶段安全行为的特性构建 Safety Buffer,并预览无害微调更新以仅惩罚削弱安全的行为,在跨语言和多模态智能体上将有害行为率从最高 93.9% 降至 14.2%,同时保持低误拒率和竞争力用性。
BrushOff 是一种无需训练、无需水印知识且不需生成模型的简单攻击,利用预训练的笔触渲染器将带水印画作重绘以移除隐形水印。实验在五种风格共 500 幅画作上测试了四种水印,发现近期为抵御编辑而设计的 VINE 水印在常规畸变下检测率高达 97.8%,经 BrushOff 重绘后降至 1.8%。该攻击输出图像在无参考质量评分上接近原画,且因笔触数量可控,攻击强度可逐步调节。
TriScore 是一种无需 OOD 标签或额外训练的后验分布外检测方法,融合能量先验、边界脆弱性及变换一致性三种信号。该方法在 ImageNet 规模骨干网络及非自适应对抗偏移协议下,以平均 AUROC 优于 15 种基线模型。源代码已公开,支持提升分类器级偏移下的检测鲁棒性。
论文研究了在策略改进过程中,固定视觉语言模型(VLM)对任务成功的判断偏差问题。实验显示,虽然成功率从 66.8% 提升至 97.0%,但剩余失败案例中位于托盘边缘下方的比例显著增加,导致 VLM 误判率上升。研究揭示了任务能力提升与故障可检测性之间的解耦现象,并呼吁在报告中同时包含绝对漏报、条件漏报和审计覆盖率指标。
针对大语言模型驱动机器人面临的越狱与复合指令安全风险,论文提出 RuleGraph 多智能体规则图规划框架。该方法通过五类协同智能体将通用安全原则转化为具体规则,在规划图中继承并验证候选计划,确保拒绝有害子任务同时完成合法部分。实验显示,该框架在两个基准测试中将攻击成功率降至 0%,同时在 RoboGuard 基准上达到 98.57% 的任务完成率,在长视界复合指令上达到 84.54%。
该研究提出'Ghost Attack'攻击方法,利用低成本自由空间硬件和透明介质将高分辨率面部数据投射到物理三维空间,成功绕过现代人脸识别系统的匹配器、呈现攻击检测和变形攻击检测三个组件。
推荐理由:论文提出利用 Pepper's Ghost 原理的'Ghost Attack',证明透明投影可绕过现代人脸识别系统的匹配与防御模块。
本文形式化了大型图像编辑模型中有害意图分布在多模态输入下的风险,提出 Split-Intent Jailbreak Attack (SIJA) 方法,通过将编辑指代放在文本而将关键安全动作隐藏在视觉语义中。
推荐理由:该工作提出跨模态越狱攻击并构建基准,揭示大图像编辑模型在图文意图拆分时的安全隐患。
Beyond Boundaries 提出统一分类法,涵盖跨实例、跨域等六轴,解析梯度对齐等机制并指出仿真与物理评估差距。研究确立组合转移等新议程,旨在指导安全防御与可复现基准测试。该预印本未通过同行评审,代码权重数据开放许可情况原文未述。
PolyProtect 通过多项式将生物特征嵌入转化为受保护模板,但数值求解器基于余弦距离的逆向分析显示其比欧氏距离更易被破解。为此提出的“密钥选择算法”能优选系数与指数以增强不可逆性,使不同重叠参数生成的模板难度趋于均衡。研究还发现归一化嵌入可改善精度损失,相关开源代码已公开,论文于 2026 年 10 月 6 日重新提交至 TIFS 期刊(审稿中)。