arXiv · 机器人与计算机视觉· David Harwath, Desh Raj, Xavier Velez, Sandra Arcos-Holzinger, Willie Jeng, Karen Livescu, Leibny Paola Garcia-Perera, Sanjeev Khudanpur·· 2026-10-20AI 评分65
无编码器多模态大模型的隐式编码器分析
Encoder-Free Multimodal LLMs Learn Implicit Encoders
AI 导读
该研究实证分析了 Gemma-4 12B 和 Inkling-Small 两个近期提出的无编码器多模态大模型,发现其早期层实际上充当了“隐式编码器”,能以跨模态上下文不变的方式编码音频和视觉输入。研究还表明,在这些早期层中独立对模态进行编码,从第一层开始联合编码能达到相同的准确率。通过逐层探测分析,发现这些隐式编码器的行为与几种流行的专用编码器模型相似。
来源:arXiv · 机器人与计算机视觉 · arxiv.org