arXiv · 机器人与计算机视觉· Alan Baade, Kyle Sargent, Vincent Sitzmann, Eric Ryan Chan, Justin Johnson, Li Fei-Fei, Gordon Wetzstein·· 2026-10-15AI 评分58
面向可扩展潜在 Tokenization 的生成式表示学习方法
Generative Representation Learning for Scalable Latent Tokenization
AI 导读
论文介绍了一种用于生成建模的自监督表示学习方法,通过分解数据点互信息来监督表示损失。该方法理论上和实证上都避免了维度坍缩和特征抑制问题,且计算效率随算力增加而可预测地提升。在 ImageNet 数据集上,其 Tokenizer 编码器比 DINOv2 少用 7 倍 FLOPs;在 GPIC 文本到图像数据集上,比 WebSSL 少用 8 倍 FLOPs。
来源:arXiv · 机器人与计算机视觉 · arxiv.org