跳到正文
arXiv · 机器人与计算机视觉· Xinyu Mao, Junsi Li, Haoji Zhang, Yu Liang, Ming Sun·· 2 天前AI 评分59

SEPS:一种用于细粒度跨模态对齐的语义增强补丁精简框架

SEPS: Semantic-enhanced Patch Slimming Framework for fine-grained cross-modal alignment

AI 导读

该论文提出了 SEPS(Semantic-enhanced Patch Slimming)框架,旨在解决视觉与语言之间细粒度跨模态对齐中的补丁冗余和歧义问题。方法采用两阶段机制整合稠密与稀疏文本的统一语义以识别显著视觉补丁,并利用感知相关性的选择结合均值计算来突出关键的补丁 - 词对应关系,从而改善跨模态相似性评估。

来源:arXiv · 机器人与计算机视觉 · arxiv.org