跳到正文
arXiv · 机器人与计算机视觉· Miso Choi, Daekeun Kim, Eunji Kim, Jungbeom Lee·· 22 天前精选AI 评分82

V-LUMEN:面向视觉语言模型的视觉查找记忆

V-LUMEN: Visual Lookup Memory for Embedding Scaling in Vision-Language Models

AI 导读

论文提出 V-LUMEN,一种用于视觉语言模型(VLM)的视觉查找记忆机制。该方法利用冻结码本将连续视觉特征离散化,通过空间聚合哈希构建感知空间的记忆键,并利用文本条件的相关性信号进行调制;所有寻址均为非参数化操作,检索到的嵌入向量通过门控残差路径融合到骨干网络中。

推荐理由

V-LUMEN 通过冻结码本将连续视觉特征离散化,在保持计算量恒定的前提下为 VLM 提供可扩展的外部记忆容量。

来源:arXiv · 机器人与计算机视觉 · arxiv.org