跳到正文
arXiv · 机器人与计算机视觉· Jaeyoo Park, Bohyung Han·· 3 天前AI 评分65

基于结构自教学的统一多模态模型组合生成方法

Structural Self-Teaching for Compositional Generation in Unified Multimodal Models

AI 导读

Jaeyoo Park 和 Bohyung Han 提出 Structural Self-Teaching (SST) 框架,利用扩散模型内部理解路径的注意力图提取短语级掩码,将其转化为训练时的结构监督信号以解决组合提示下的对象缺失与空间错误问题。该方法通过短语局部对比对齐和结构支架机制,在不需外部标注且无推理成本的情况下,在多个统一多模态模型上实现了优于 LoRA 微调的组合生成保真度。

来源:arXiv · 机器人与计算机视觉 · arxiv.org