跳到正文
arXiv · 机器人与计算机视觉· Hunar Batra, Lachin Naghashyar, Ashkan Khakzar, Philip Torr, Christian Schroeder de Witt, Constantin Venhoff, Ronald Clark·· 8 天前AI 评分75

MMDiff:一种用于特征发现与控制的多模态模型差分框架

Multimodal Model Diffing for Feature Discovery and Control

AI 导读

该论文提出了 MMDiff 框架,旨在解决多模态大语言模型内部特征难以识别和控制的难题。研究团队在 LLaVA-MORE、PaliGemma 2 和 InternVL3.5 三个模型家族上训练了多模态稀疏自编码器(SAEs),并通过基线模型与多模态适配版本的差分分析,实现了特征隔离、任务特定检测及因果控制。

来源:arXiv · 机器人与计算机视觉 · arxiv.org