arXiv · 机器人与计算机视觉· Seng Pei Liew, Teppei Suzuki, Seiya Tokui·· 12 小时前AI 评分53
视觉语言融合缩放定律:揭示早融合与晚融合的权衡机制
Scaling Laws for Vision-Language Fusion
AI 导读
该论文系统分析了视觉语言模型的预训练动力学,提出了一种统一的缩放定律来描述不同数据混合比例、训练步数和模型规模下的损失变化。研究发现,在固定数据预算下,早融合能保持文本性能而晚融合偏向视觉性能,且随着模型规模扩大,权衡趋势逐渐向早融合倾斜。实验证实该定律能有效预测多模态学习动态并指导融合决策选择。
来源:arXiv · 机器人与计算机视觉 · arxiv.org