跳到正文
arXiv · 机器人与计算机视觉· Ziheng Zhang, Neha Hulkund, Colin Lee, Zheda Mai, Hui Shen, Ying Ding, Tanya Berger-Wolf, Sara Beery, Wei-Lun Chao, Jianyang Gu·· 2026-10-16AI 评分59

Mind the Tail:通过稀疏概念进行数据选择

Mind the Tail: Data Selection Through Sparse Concepts

AI 导读

该工作提出 Mind the Tail 方法,利用稀疏自动编码器(SAEs)从图像中提取概念激活,并通过累加数据集层面的概念支持度来分配训练资源。该方法对分布良好的概念应用递减回报以减轻过拟合风险,同时结合局部支持度寻找能可靠增强尾部概念的样本。实验表明,该方法在细粒度、虚假相关及通用图像分类以及多模态预训练中均优于强基线数据选择方法,并提升了模型对分布外和虚假上下文的鲁棒性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org