Hugging Face Daily Papers·· 2026-10-13精选AI 评分83
重新思考多模态大模型中的投影器训练:PORTAL 免配对数据实现性能匹配
Rethinking Projector Training in Multimodal LLMs
AI 导读
论文发现投影器训练仅需少量数据即可恢复大部分下游增益,且不同数据集训练的投影器可线性插值。为此提出 PORTAL 方法,利用各模态的摘要统计量构建最优传输映射,无需配对图像 - 文本数据或梯度优化即可初始化投影器。
推荐理由
提出无需配对数据的无梯度初始化方法,在多项基准上接近或超越标准微调流程。
来源:Hugging Face Daily Papers · arxiv.org