跳到正文
arXiv · 机器人与计算机视觉· Mehmet Onurcan Kaya, Desmond Elliott, Dim P. Papadopoulos·· 16 天前AI 评分73

SIMIT:一种基于测试时想象能力的自我改进视觉语言模型框架

SIMIT: Self-Improving Vision-Language Models via Imagination at Test-Time

AI 导读

论文介绍 SIMIT 框架,允许视觉语言模型在不依赖外部标注的情况下,于测试阶段自行构建特定查询的训练数据以改善性能。该方法通过生成多样化的问题、答案及图像三元组,并结合多阶段验证与自适应预算分配来筛选有效样本。实验显示,SIMIT 在 17 个基准测试中优于现有方法,其中最佳配置相比 BAGEL-7B 平均相对提升 7.20%,且无需训练的 SIMIT-ICL 版本也实现了 6.98% 的提升。

来源:arXiv · 机器人与计算机视觉 · arxiv.org