跳到正文
arXiv · 机器人与计算机视觉· Ankit Gupta, Akshat Pandya, Christoph Adami, Emily Dolson·· 24 天前AI 评分62

SPOOK:基于稀疏像素优化的非流形知识提取方法

SPOOK: Sparse Pixel Optimization for Off-Manifold Knowledge in Vision Encoders

AI 导读

针对现代视觉编码器在远离自然图像流形时语义表征不清晰的问题,作者采用黑盒设置下的简单像素级爬山算法对空白画布进行稀疏编辑。实验表明,在 OpenCLIP 和 DINOv3 等模型上,优化后的输入能成功检索特定目标或对齐原型,证明了稀疏编辑可进入语言对齐及自监督视觉表征的语义盆地。该研究识别了此类模型的共享失效模式,并提出将空白画布优化作为表征几何探测的简单手段。

来源:arXiv · 机器人与计算机视觉 · arxiv.org