跳到正文
arXiv · 机器人与计算机视觉· Yingying Yan, Jiaqi Tang, Wei Wei, Qianzhou Wang, Lei Zhang, Jianmin Chen, Yuyang Xia, Botong Geng, Jinjian Wu, Qifeng Chen·· 14 天前AI 评分73

通过跨所有 ViT 和 LLM 层的动态门控路径提升 MLLMs

Where to Connect? Boosting MLLMs via Dynamic Gated Pathways across ALL ViT and LLM Layers

AI 导读

针对多模态大语言模型中视觉信息如何接入语言模型语义的难题,提出 DGP(Dynamic Gated Pathways)机制,建立每个 ViT 层与每个 LLM 层之间的全连接,并让各 LLM 层根据自身语义状态动态门控选择视觉输入。该方法基于 LLaVA-1.5-7B 和 13B 构建,在 SQA、MM-Vet、VizWiz 等基准测试上均取得一致提升,且优于先前的多图层融合方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org