arXiv · 机器人与计算机视觉· Haoyue Bai, Yinyi Luo, Yicheng He, Qingsong Wen, Sharon Li, Jindong Wang·· 10 天前AI 评分73
UniMore:面向统一理解与生成的细粒度监督方法
UniMore: Fine-Grained Supervision for Unified Understanding and Generation
AI 导读
该论文针对预训练统一多模态模型在图像生成和文本描述中缺乏细节特异性的问题,提出 UniMore 后训练方法。该方法从图文对的细粒度内容出发,设计两条独立优化的路线:生成路线预测对应短语的 grounded crops 以匹配视觉目标,理解路线结合正样本拟合与对缺失或改变细节的负样本排序。实验显示该方法在多项理解与生成基准上均取得提升。
来源:arXiv · 机器人与计算机视觉 · arxiv.org