跳到正文
arXiv · 机器人与计算机视觉· Nikolaos Gkalelis, Vasileios Mezaris·· 29 天前AI 评分59

LLaVA-CKD:面向视觉语言模型的自下而上级联知识蒸馏方法

LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models

AI 导读

针对大视觉语言模型部署时显存与算力需求高的问题,本文提出一种自下而上的级联知识蒸馏(CKD)框架。该方法受人类教育体系启发,引入一个或多个中间容量的教师网络,逐步将学生网络提升至下一层级,再由更高容量的教师接管,以缓解因师生容量差距过大导致的知识转移效率下降。

来源:arXiv · 机器人与计算机视觉 · arxiv.org