arXiv · 机器人与计算机视觉· Szymon Ruci\'nski, Pietro Bonazzi, Engin T\"uretken, Simon Narduzzi, Michele Magno, Nadim Maamari·· 16 天前AI 评分67
FTerViT:全三值化视觉 Transformer
FTerViT: Fully Ternary Vision Transformer
AI 导读
针对资源受限处理器,本文提出全三值化视觉 Transformer(FTerViT),将权重矩阵与归一化参数均转为三值,激活保持 8 位。通过引入 TernaryBitConv2d 和 TernaryLayerNorm 算子及知识蒸馏训练,在 DeiT-S 骨干上以 5.81 MB 体积达到 77.47% ImageNet-1K 精度,优于现有三值化方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org