跳到正文
arXiv · 机器人与计算机视觉· Wayner Barrios, Kenneth Barrios·· 16 天前AI 评分48

多模态大模型情境安全基准审计:揭示标签泄露与评分偏差

What Does a Safety Label Measure? Auditing Situational-Safety Benchmarks for Multimodal LLMs

AI 导读

研究提出“基准卡”并审计六个情境安全基准,发现仅凭图像尺寸即可以 82.3% 准确率泄露 MSSBench 的 SAFE/UNSAFE 标签。Spot-Stop 分解显示多数开源多模态大模型排名优于其标签评分,且共享阈值可修复部分偏差。该工作为物理 AI 领域评估模型在真实部署中的情境安全性提供了关键审计视角与修正方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org