跳到正文
arXiv · 机器人与计算机视觉· Aishwarya Venkataramanan, Christian Ickler, Joachim Denzler·· 24 天前AI 评分62

FG-LUPI:通过多模态蒸馏利用文本作为特权信息进行细粒度视觉分类

Learning Fine-Grained Visual Classification with Text as Privileged Information via Multimodal Distillation

AI 导读

论文提出 FG-LUPI 框架,解决细粒度视觉分类中测试时缺乏文本属性监督的问题。该方法训练一个整合图像块与文本属性的多模态教师模型,并通过预测、块和注意力层面的多级蒸馏将知识迁移至纯图像学生模型。实验在多个基准上显示,该框架相比强 ViT 基线提升了分类准确率,并降低了预期校准误差(ECE),证明了文本属性监督能同时提升性能与置信度可靠性且保持推理效率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org