跳到正文
arXiv · 机器人与计算机视觉· Ellis Brown, Chris Hoang, Shengyi Qian, Shang-Wen Li, Mike Lewis, Marjan Ghazvininejad, Luke Zettlemoyer, Lucas Beyer, Mengye Ren, Jakob Verbeek, Saining Xie, Hu Xu·· 6 天前AI 评分73

Unbundling Multimodal Vision Encoding:解耦多模态视觉编码的架构设计

Unbundling Multimodal Vision Encoding

AI 导读

该论文提出了一种受控框架,在统一数据和计算预算下对比了不同视觉编码策略。研究发现,联合训练的专用视觉容量比预训练先验更有效,且无需前置融合即可达到同等性能甚至降低首字延迟。结果支持将专用视觉容量与主干网络联合训练并置于早期的架构设计。

来源:arXiv · 机器人与计算机视觉 · arxiv.org