Hugging Face Daily Papers·· 11 天前AI 评分20
Transformer 表征逐层逐模块探测研究:Act@100 与 LN2@60 策略在视觉与语言模型中分别恢复最优增益的 42% 和 86%
Probing Transformer Representations Layer by Layer, Module by Module
AI 导读
针对传统仅探测 Transformer 最后一层的做法,该研究通过超 14.4 万次线性探测评估发现,联合考虑层与模块选择能显著提升表征质量。基于此结论提出的固定策略中,视觉模型采用 Act@100、语言模型采用 LN2@60,在多数评测中优于基线并分别恢复最优组合增益的 42% 和 86%。该结果适用于视觉基础模型及大语言模型,且随预训练与下游任务间的迁移难度增加而提升。
来源:Hugging Face Daily Papers · arxiv.org