arXiv · 机器人与计算机视觉· Jaedong Hwang, Brian Cheung, Zhang-Wei Hong, Akhilan Boopathy, Pulkit Agrawal, Ila Fiete·· 2026-10-07精选AI 评分82
大规模预训练数据集无法保证图像分类微调后的鲁棒性
Large Pretraining Datasets Don't Guarantee Robustness after Fine-Tuning in Image Classification
AI 导读
该研究评估了微调对预训练模型在分布外任务上鲁棒性的影响,发现微调会导致灾难性遗忘和泛化能力丧失。实验表明,基于 LAION-2B 等最大规模数据集预训练的模型在微调小数据集后,其绝对鲁棒性和鲁棒性损失均高于小规模预训练模型。
推荐理由
研究发现大模型微调后鲁棒性下降,且预训练规模越大损失越严重。
来源:arXiv · 机器人与计算机视觉 · arxiv.org