跳到正文
arXiv · 机器人与计算机视觉· Donghyeon Cho, Joowon Kim, Seungho Shin, Eunho Yang·· 22 天前精选AI 评分82

LOWN:一种基于证书的视觉路由方法用于高效扩散 VLMs

Look Only When Needed: Certificate-Guided Visual Routing for Efficient Diffusion VLMs

AI 导读

针对扩散视觉语言模型(DVLMs)在每个去噪步骤处理全部输入导致计算冗余的问题,作者提出 LOWN 解码方法。该方法通过比较有无图像时的预测差异来生成证书,仅在预测不一致时才调用图像进行验证,从而决定该步是否处理图像及解掩码的 token 数量。

推荐理由

提出 LOWN 方法,通过证书引导的视觉路由在无需微调的情况下将解码 FLOPs 降低至平均 35.3%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org