跳到正文
arXiv · 机器人与计算机视觉· Zeyu Liu, Zanlin Ni, Yang Yue, Cheng Da, Huan Yang, Di Zhang, Kun Gai, Gao Huang·· 2 天前精选AI 评分80

通过理解监督引导统一多模态模型的视觉生成

Steering Visual Generation in Unified Multimodal Models with Understanding Supervision

AI 导读

针对统一多模态模型中理解与生成分离导致协同效应不确定的问题,本文提出理解导向后训练(UNO)框架。该框架将理解任务作为直接监督信号,通过编码语义抽象和结构细节的目标,实现从理解到生成的有效梯度流动。实验表明理解可作为生成的高效催化剂。

推荐理由

提出理解导向后训练框架,利用语义与结构监督引导生成表示。

来源:arXiv · 机器人与计算机视觉 · arxiv.org