arXiv · 机器人与计算机视觉· Ruize Xia·· 16 天前AI 评分5
CLIP微调零样本遗忘诊断:注意力漂移表征适应、表示漂移预测迁移退化
Diagnosing Zero-Shot Forgetting in CLIP Fine-Tuning: Attention Drift Characterizes Adaptation, Representation Drift Predicts Transfer Degradation
AI 导读
研究对比了熵、CKA等四种信号,发现线性中心化核对齐(CKA)在跨配置比较中表现最佳,首个 epoch 后相关系数即达0.959。该结论基于ViT-B/32模型在EuroSAT和Oxford-IIIT Pets数据集上的全微调及LoRA实验,且证据限于单一模型家族与短训练周期。
来源:arXiv · 机器人与计算机视觉 · arxiv.org