arXiv · 机器人与计算机视觉· Junjie Wang, Keyu Chen, Yulin Li, Bin Chen, Hengshuang Zhao, Xiaojuan Qi, Zhuotao Tian·· 23 天前精选AI 评分78
DeCLIP:一种增强开放词汇稠密感知的通用解耦学习框架
Generalized Decoupled Learning for Enhancing Open-Vocabulary Dense Perception
AI 导读
针对 Vision-Language Models 在稠密视觉感知任务中因局部特征表示受限导致性能不佳的问题,本文提出 DeCLIP 框架。该框架通过解耦 CLIP 的自注意力模块分别获取内容与上下文特征:利用扩散模型的对象完整性线索与基础模型的语义相关性增强上下文特征以改善空间一致性;同时结合图像裁剪表示与区域相关性约束内容特征以提升局部判别力。
推荐理由
提出 DeCLIP 框架,通过解耦自注意力模块并融合扩散模型与基础模型特征,提升 CLIP 在开放词汇稠密感知任务中的局部判别力与空间一致性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org