arXiv · 机器人与计算机视觉· Nairouz Mrabah, Ismail Ben Ayed, Mahdi S. Hosseini, Eric Granger·· 10 天前精选AI 评分82
仅需少量梯度符号:视觉语言模型的少样本适应方法
On the Few-Shot Adaptation of Vision-Language Models: A Few Gradient Signs Are All You Need
AI 导读
论文指出视觉语言模型少样本适应时梯度估计存在严重校准偏差,但小幅度梯度的符号仍具信息量。为此提出 SignSparseSGD 和 DynSignSparseSGD 两种无需维护状态、仅利用梯度符号的优化器。
推荐理由
针对少样本适应中梯度估计噪声大的问题,提出无需维护状态且仅利用梯度符号的优化器,在多项基准上表现优异。
来源:arXiv · 机器人与计算机视觉 · arxiv.org