跳到正文
arXiv · 机器人与计算机视觉· Juntong Li, Lingwei Dang, Haomin Wu, Ziyan Qiu, Qingxin Xiao, Qingyao Wu·· 2026-10-07AI 评分42

SALM 通过结构感知隐式掩码建模解锁 CLIP 细粒度感知能力

Unlocking Fine-Grained Perception in CLIP via Structurally-Aware Latent Masked Modeling

AI 导读

SALM 是一种无需图像 - 文本对即可协同局部与全局对齐的无监督嵌入对齐框架,利用双矩阵策略显式校准空间相关性并设计隐式机制恢复语义细节。该方法扩展出的 SALM-Self 范式仅凭 CLIP 浅层特征实现高效自蒸馏,在密集预测任务中显著提升性能并增强多模态大模型的零样本准确率。

来源:arXiv · 机器人与计算机视觉 · arxiv.org