arXiv · 机器人与计算机视觉· Emanuel Ben Baruch, Sivan Biham, Alon Shoshan, Yochai Zvik, Avi Ben-Cohen·· 2026-10-16AI 评分47
Cross-Prompt Inference 缓解不平衡 VLM 微调中的稀有类别抑制问题
Cross-Prompt Inference Mitigates Rare-Class Suppression in Imbalanced VLM Finetuning
AI 导读
当视觉语言模型在类别不平衡数据上微调时,复用描述性提示词会导致稀有类别召回率显著低于零样本性能。研究提出的跨提示推理策略通过改变推断时的提示词,在六个数据集的评估中一致恢复了被抑制的稀有类别知识。利用 TuCo 分解发现该效果源于降低对微调诱导计算的依赖,且仅在存在严重不平衡和视觉混淆时最强。
来源:arXiv · 机器人与计算机视觉 · arxiv.org