跳到正文
arXiv · 机器人与计算机视觉· Adrian Bulat, Yassine Ouali, Georgios Tzimiropoulos·· 2026-10-09AI 评分45

One Block Multiple Depths:循环视觉 Transformer 与深度编程专家模型发布

One Block, Multiple Depths: Recurrent Vision Transformers with Depth-Programmed Experts

AI 导读

reViT 通过单个循环 Transformer 块匹配全深度编码器精度,在 ImageNet-1k 预训练下参数存储量减少约 70%,蒸馏后保留 DINOv2 教师模型的线性探测准确率。该设计支持弹性深度训练实现单检查点多深度运行,固定深度部署时可转化为稠密图移除在线路由,已在监督学习与蒸馏两种 regime 下验证优于其他 MoE 方案。

来源:arXiv · 机器人与计算机视觉 · arxiv.org