跳到正文
arXiv · 机器人与计算机视觉· Dongjin Lee, Eunju Lee, Jinhee Jang, Yoonji Lee, Youngbin Kim·· 14 天前精选AI 评分78

RI-Prune:面向多图像视觉语言模型的感知与信息 aware 视觉 Token 剪枝

RI-Prune: Relation and Information Aware Visual Token Pruning for Multi-Image Vision-Language Models

AI 导读

针对大视觉语言模型处理多张输入图像时视觉 Token 预算激增的问题,现有基于注意力的剪枝方法在多图基准上表现不佳且存在位置偏差。本文提出 RI-Prune,这是一种无需训练、不依赖注意力机制的预解码器选择器。

推荐理由

针对多图像场景下注意力机制失效问题,提出无需训练的 RI-Prune 方法,通过查询相关性与跨图对应关系实现更优的视觉 Token 剪枝。

来源:arXiv · 机器人与计算机视觉 · arxiv.org