跳到正文
arXiv · 机器人与计算机视觉· Jianyang Gu, Jacob Beattie, Mridul Khurana, Julia Chae, Xi Xiao, Cheng Zhang, Anuj Karpatne, Wei-Lun Chao, Sara Beery, Tanya Berger-Wolf·· 14 天前AI 评分58

从激活到干预:通过重建解读稀疏视觉特征

From Activation to Intervention: Interpreting Sparse Visual Features through Reconstruction

AI 导读

针对稀疏自编码器(SAE)在解释视觉表示时因多特征重叠导致证据模糊的问题,本文提出重构性 SAE 干预(RecSAEI)框架。该方法通过在 SAE 解码器方向上进行主动干预并重建视觉输出,直接揭示特征的语义含义。研究展示了该方法能在多个数据集和视觉编码器中成功消除歧义,并将 [CLS] 干预锚定在稀疏的补丁解码器方向上,同时暴露基础视觉模式与高层语义间的组合关系。

来源:arXiv · 机器人与计算机视觉 · arxiv.org