跳到正文
arXiv · 机器人与计算机视觉· Peng Zhang, Qian Chen, Xianyin Zhang, Yimin Tian, Ruite Fei, Dongyi Lv, Lifan Guo, Chi Zhang, Shuai Liu·· 14 天前精选AI 评分83

Prism:面向统一多模态模型的双向自我教学方法

Prism: Bidirectional Self-Teaching for Unified Multimodal Models

AI 导读

该论文提出了 Prism 方法,旨在通过双向自我教学改进统一多模态模型(UMMs)的理解与生成功能。该方法将耦合的交错轨迹解耦为文本链和图像链,并根据其可靠性构建训练目标。在 SenseNova-U1 和 BAGEL 上的实验显示,GenEval、DPG、MME 及 MMVP 等指标均有提升。研究强调无需外部验证器或标注修正轨迹即可实现能力协同增强。

推荐理由

提出基于自生成轨迹双向监督的 UMMs 后训练方法,无需外部验证器即可提升理解与生成能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org