跳到正文
arXiv · 机器人与计算机视觉· Jiameng Li, Minye Wu, Matthew B. Blaschko·· 2 天前AI 评分73

ProSE:面向 MoE-MLLM 的语义引导专家跳过与重建误差探测研究

ProSE: Probing Reconstruction Error for Semantic-guided Expert Skipping in MoE-MLLMs

AI 导读

针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。

来源:arXiv · 机器人与计算机视觉 · arxiv.org