跳到正文
arXiv · 机器人与计算机视觉· Mahtab Movahhedrad, Hamidreza Hasani Balyani, Seyed Pouyan Mousavi Davoudi·· 2 天前精选AI 评分78

AUROC 比较在人群混合变化下的生存条件:理论与实证审计

When Does an AUROC Comparison Survive a Change in Population Mix?

AI 导读

本文研究二元目标下固定评分在不同组别混合时的表现,证明通用优势判定是共 NP-难问题,并给出了网格近似证书与错误包络。实验显示,冻结的 ResNet-50 在 ImageNet-C 上多数比较稳健,但存在反转案例;对 Stable LM 2 12B 输出及不确定性方法的审计发现部分比较在任务内胜出却在混合时反转,边际秩对齐可消除这些反转。

推荐理由

该文通过理论证明与实验审计,揭示了置信度评分在人群混合比例变化下发生反转的机制,为评估模型鲁棒性提供了新的分析视角。

来源:arXiv · 机器人与计算机视觉 · arxiv.org