跳到正文
arXiv · 机器人与计算机视觉· Hyeongheon Cha, Hyungjun Yoon, Sung-Ju Lee·· 2026-10-07AI 评分72

Later Is Better:ViT 在分布偏移下的令牌缩减优化方法

Later Is Better: Token Reduction for ViTs Under Distribution Shift

AI 导读

论文提出了一种训练免费的令牌缩减策略,通过引入单参数延迟集中幂律调度来解决 ViT 模型在真实世界分布偏移下精度下降的问题。实验表明,该方案在 ImageNet-C 数据集上将 DeiT-S 模型的计算量减少 26% 的同时,消除了 83% 的精度差距;即使仅减少 7% 的计算量也能消除 99% 的差距。该方法在五种令牌缩减方法、九个骨干网络及多种模态上均有效,且无需针对每个输入或领域进行调优。

来源:arXiv · 机器人与计算机视觉 · arxiv.org