跳到正文
arXiv · 机器人与计算机视觉· Jialv Zou, Xiaotong Li, Zhengrong Yue, Xu Huang, Yaxin Luo, Wenhao Yan, Haodong Li, Wenyu Liu, Xinggang Wang·· 22 天前精选AI 评分83

离散 Token 能否无损表征视觉信号?——基于因子化向量量化的多模态模型研究

Can Discrete Tokens Serve as Semantically Lossless Representations of Visual Signals?

AI 导读

该论文挑战了‘离散视觉 Token 必然导致语义损失’的假设,提出因子化向量量化方法以缓解代码本饱和问题。在工业级多模态数据上训练的模型,在多指标平均性能上超越 UniAR 和 Emu3-Chat,并在细粒度 OCR 任务上与 Qwen3-VL 等连续表示模型竞争。材料提供了关键原则与实践配方,支持离散视觉表征作为大规模原生多模态基础模型的潜力。代码与模型已开源。

推荐理由

提出因子化向量量化方法,在离散表示下实现与连续表示相当的多模态理解性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org