arXiv · 机器人与计算机视觉· Junxian Li, Kai Liu, Zizhong Ding, Zhixin Wang, Zhikai Chen, Renjing Pei, Yulun Zhang·· 15 天前AI 评分68
G$^2$TR:面向分离编码器统一多模态模型的生成引导视觉 Token 缩减方法
G$^2$TR: Generation-Guided Visual Token Reduction for Separate-Encoder Unified Multimodal Models
AI 导读
针对分离编码器统一多模态模型(UMMs)因密集处理视觉 Token 导致推理成本高的问题,本文提出 G$^2$TR 框架。该方法利用生成分支作为任务无关信号,识别对语义理解、潜在空间图像重建及编辑均重要的视觉 Token,通过平衡选择与冗余合并减少信息损失。
来源:arXiv · 机器人与计算机视觉 · arxiv.org