跳到正文
arXiv · 机器人与计算机视觉· Tianhao Fu, Austin Wang, Charles Chen, Roby Aldave-Garza, Victor Xie, Xiyue Jiao, Yucheng Chen, Martin Tin·· 28 天前AI 评分58

Just Respect the Semantics:通过预 LLM 语义变分辨率分词与 LLM 内相关性剪枝实现图像 Token 压缩

Just Respect the Semantics: Image-Token Compression via Pre-LLM Semantic Variable-Resolution Tokenization and In-LLM Relevance Pruning

AI 导读

论文介绍 Varest 方法,利用对象和文本定位器引导变分辨率合并以保留边界细节,并通过学习到的注册表在早期解码后剪枝视觉 Token。该方法在三个骨干网络和 13 个基准测试中均优于 15 个基线,仅使用 5.56% 的原始图像 Token 数量即可保留 86.10%-92.33% 的全量性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org