多模态 Transformer 中的虚拟编码器:无需专用感知编码器的任务可用表征学习
该论文提出‘虚拟编码器’概念,指出多模态语言模型即便不接收连续特征或离散视觉 token 的专用感知编码器输入,也能在共享 Transformer 的前中期层内部化缺失的计算,构建出任务可用的感知表征。研究通过线性探测、与感知编码器的相似度分析及因果分析验证了这一结构的存在,表明感知处理与语言处理的边界不必重合于同一架构模块,为理解多模态模型如何处理感知提供了新视角。
推荐理由:研究发现多模态大模型可在无专用感知编码器时,在共享 Transformer 内部层构建虚拟编码器结构。