跳到正文
arXiv · 机器人与计算机视觉· David Yan·· 9 天前精选AI 评分78

仅文本即可预测分割读出保留哪些类别

Text Alone Predicts Which Classes a Segmentation Readout Keeps

AI 导读

论文指出开放词汇分割模型在部署超出训练类别时,会静默丢失某些类别且仍输出高置信度掩码,但训练损失下降甚至 mIoU 上升。研究证明哪类崩溃完全由类名列表决定:基于类名与训练词汇的文本相似度即可预测崩溃风险,该排名在九个模型家族中 AUROC 达 0.69-0.96。

推荐理由

研究发现仅凭类名列表即可预测分割读出的崩溃风险,无需查看图像。通过调整词汇距离或训练幅度可恢复已消失的类别,为模型鲁棒性提供新视角。

来源:arXiv · 机器人与计算机视觉 · arxiv.org