arXiv · 机器人与计算机视觉· Nikolaos Gkalelis, Vasileios Mezaris·· 29 天前AI 评分59
LLaVA-CKD:面向视觉语言模型的自下而上级联知识蒸馏方法
LLaVA-CKD: Bottom-Up Cascaded Knowledge Distillation for Vision-Language Models
AI 导读
针对大视觉语言模型部署时显存与算力需求高的问题,本文提出一种自下而上的级联知识蒸馏(CKD)框架。该方法受人类教育体系启发,引入一个或多个中间容量的教师网络,逐步将学生网络提升至下一层级,再由更高容量的教师接管,以缓解因师生容量差距过大导致的知识转移效率下降。
来源:arXiv · 机器人与计算机视觉 · arxiv.org