跳到正文
arXiv · 机器人与计算机视觉· Bowen Zheng, Weijian Luo, Guang Yang, Colin Zhang, Tianyang Hu·· 13 天前AI 评分72

Taming the Entropy Cliff:用于自回归视觉生成的可变码本大小量化

Taming the Entropy Cliff: Variable Codebook Size Quantization for Autoregressive Visual Generation

AI 导读

论文针对离散视觉分词器中固定码本导致有限数据熵预算快速耗尽的问题(即“熵悬崖”现象),提出可变码本大小量化方法,使码本容量沿序列单调增长。该方法在保持标准自回归 Transformer 训练流程不变的情况下,将 ImageNet 256x256 生成的 gFID 从固定码本的 18.16-27.98 降至 14.80(无 CFG),并在 6.84 亿参数规模下达到 1.71。

来源:arXiv · 机器人与计算机视觉 · arxiv.org