跳到正文
arXiv · 机器人与计算机视觉· Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete·· 2026-10-07精选AI 评分82

大规模预训练数据集无法保证图像分类微调后的鲁棒性

Large Pretraining Datasets Don't Guarantee Robustness after Fine-Tuning in Image Classification

AI 导读

该研究评估了微调对预训练模型在分布外任务上鲁棒性的影响,发现微调会导致灾难性遗忘和泛化能力丧失。实验表明,基于 LAION-2B 等最大规模数据集预训练的模型在微调小数据集后,其绝对鲁棒性和鲁棒性损失均高于小规模预训练模型。

推荐理由

研究发现大模型微调后鲁棒性下降,且预训练规模越大损失越严重。

来源:arXiv · 机器人与计算机视觉 · arxiv.org