arXiv · 机器人与计算机视觉· Zixuan Fu, Lanqing Guo, Chong Wang, Binbin Song, Ding Liu, Bihan Wen·· 22 天前AI 评分65
ReToK:一种用于自回归图像生成的改进型灵活图像分词器
Improving Flexible Image Tokenizers for Autoregressive Image Generation
AI 导读
针对现有灵活图像分词器因尾部截断导致早期 token 信息过载的问题,本文提出 ReToK 方法。该方法通过冗余 Token Padding 激活尾部 token,并结合分层语义正则化对齐预训练视觉基础模型的解码特征,以增强潜在建模能力。实验表明,在 ImageNet 256x256 数据集上,ReToK 的生成性能优于灵活和固定长度分词器。代码将在后续开放。
来源:arXiv · 机器人与计算机视觉 · arxiv.org