跳到正文
arXiv · 机器人与计算机视觉· Szymon Ruci\'nski, Pietro Bonazzi, Engin T\"uretken, Simon Narduzzi, Michele Magno, Nadim Maamari·· 16 天前AI 评分67

FTerViT:全三值化视觉 Transformer

FTerViT: Fully Ternary Vision Transformer

AI 导读

针对资源受限处理器,本文提出全三值化视觉 Transformer(FTerViT),将权重矩阵与归一化参数均转为三值,激活保持 8 位。通过引入 TernaryBitConv2d 和 TernaryLayerNorm 算子及知识蒸馏训练,在 DeiT-S 骨干上以 5.81 MB 体积达到 77.47% ImageNet-1K 精度,优于现有三值化方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org