跳到正文
arXiv · 机器人与计算机视觉· Zhizhang Hu, Yue Zhang·· 2 天前AI 评分48

复用层何时助益多模态嵌入?——MMEB-V2 基准上的循环 Transformer 研究

When Does Reusing Layers Help Multimodal Embeddings?

AI 导读

该研究在 MMEB-V2 基准的 78 个数据集上验证,标准附加循环使检索分数下降 0.46 分,而中间生成阶段则提升 0.36 分。预训练引入循环的模型相比去环控制组增益 4.23 分,且在视觉问答与文本定位任务中受益于查询条件化的图像更新。研究区分了前向信息流保持查询独立性与双向注意力下的状态敏感性机制。

来源:arXiv · 机器人与计算机视觉 · arxiv.org