arXiv · 机器人与计算机视觉· Pengfeng Song, Shaozhong Zhang, Pengfei Shao·· 27 天前AI 评分66
基于动态粒度发现与最优传输的层次化细粒度跨模态对齐
Hierarchical Fine-Grained Cross-Modal Alignment via Dynamic Granularity Discovery and Optimal Transport
AI 导读
论文提出了名为 HFCMA 的框架,旨在解决细粒度图像文本检索中全局语义一致性与局部视觉证据建模不足的问题。该框架首先利用动态粒度发现机制将原始 patch 和 token 聚合为自适应视觉区域与文本短语,随后在双编码器架构下将区域 - 短语匹配形式化为熵正则化的最优传输问题以估计结构化对齐矩阵。
来源:arXiv · 机器人与计算机视觉 · arxiv.org