跳到正文
arXiv · 机器人与计算机视觉· Sajjad Ghiasvand, Yifan Yang, Mahnoosh Alizadeh, Ramtin Pedarsani·· 2026-10-20AI 评分42

ZOMP:面向视觉语言模型的零阶多模态提示微调方法

ZOMP: Zeroth-Order Multi-Modal Prompt Tuning for Vision-Language Models

AI 导读

ZOMP 是一种仅需前向传播的深层多模态提示微调方法,在 5,000 次训练损失查询下实现跨 13 个数据集的平均 16-shot 准确率 68.2%,较 ZIP 提升 6.0 个点。该方法在五个图文检索数据集上优于四种无导数基线,平均双向 Recall@1 比 BPT-VLM 高出 2.63 点,同时降低训练内存占用并支持内部提示推理接口。

来源:arXiv · 机器人与计算机视觉 · arxiv.org