arXiv · 机器人与计算机视觉· Yucheng Zhou, Yunjia Xi, Di Yin, Jianbing Shen·· 2 天前AI 评分70
UMM-JEPA:基于掩码下一尺度表示预测的统一多模态模型的生成式预训练
UMM-JEPA: Generative Pretraining via Masked Next-Scale Representation Prediction for Unified Multimodal Models
AI 导读
论文指出传统生成目标优化合成空间导致与视觉理解表征不匹配,提出 UMM-JEPA 将生成重构为从粗到细的连续视觉理解表征渐进预测。模型在预训练中解耦像素渲染,实验显示该表征预测目标使统一多模态模型的视觉基准平均分达到 51.71,优于仅用于理解的 Qwen-VL 基线(46.36),且文本均值同步提升。
来源:arXiv · 机器人与计算机视觉 · arxiv.org