跳到正文
arXiv · 机器人与计算机视觉· Martin Thi{\ss}en, Elke Hergenr\"other·· 28 天前AI 评分72

通过信噪比调优解锁流匹配模型的空间定位能力

Unlocking Spatial Grounding in Flow-Matching Models via SNR Tuning

AI 导读

该研究针对生成模型难以利用视觉语言编码器中的坐标信息问题,提出通过调整训练过程中的信噪比分布来优化空间定位。实验表明,将训练重点转向高噪声阶段可将布局遵循度从25.9%提升至80.8%,接近潜在变分自编码器的重建上限。该方法无需修改架构即可在COCO数据集上将平均精度从1.0提升至57.3,且发现FLUX.1等模型采用的保守噪声调度不足以实现精确的布局控制。

来源:arXiv · 机器人与计算机视觉 · arxiv.org