跳到正文
arXiv · 机器人与计算机视觉· Ke Hao, Yuanzhi Liang, Tingxi Chen, Rui Li, Haibin Huang, Chi Zhang, Yun Gu, Xuelong Li·· 23 天前AI 评分72

Dreaming in Flow:基于流方向反馈与语义重放的统一多模态模型双向自我修正

Dreaming in Flow: Bidirectional Self-Refinement for Unified Multimodal Models

AI 导读

arXiv 论文介绍了一种名为 BiSe 的后训练方法,旨在解决统一多模态模型中图像生成分解与理解优化分离的问题。该方法利用自生成的视觉片段构建反馈,通过理解引导生成和生成引导理解两个路径对齐流方向与语义证据,无需成对图文数据即可在三个骨干网络上提升文本到图像的构图能力,并在两个评估网络中改善视觉理解性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org