arXiv · 机器人与计算机视觉· David Yan·· 9 天前精选AI 评分78
仅文本即可预测分割读出保留哪些类别
Text Alone Predicts Which Classes a Segmentation Readout Keeps
AI 导读
论文指出开放词汇分割模型在部署超出训练类别时,会静默丢失某些类别且仍输出高置信度掩码,但训练损失下降甚至 mIoU 上升。研究证明哪类崩溃完全由类名列表决定:基于类名与训练词汇的文本相似度即可预测崩溃风险,该排名在九个模型家族中 AUROC 达 0.69-0.96。
推荐理由
研究发现仅凭类名列表即可预测分割读出的崩溃风险,无需查看图像。通过调整词汇距离或训练幅度可恢复已消失的类别,为模型鲁棒性提供新视角。
来源:arXiv · 机器人与计算机视觉 · arxiv.org