跳到正文
arXiv · 机器人与计算机视觉· Shiwon Kim, JaeSeong Hong, Yu Rang Park·· 16 天前AI 评分53

ReLATE:学习相对表示以实现后验多模态对齐

ReLATE: Learning Relative Representations for Post-Hoc Multimodal Alignment

AI 导读

论文提出 ReLATE 方法,通过可学习锚点定义图像块和文本 token 的相对表示,仅优化锚点即可实现冻结编码器间的对齐。在 13 个通用领域基准上优于对比的后验对齐方法,并在病理学零样本分类任务中达到或超过专用模型性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org