arXiv · 机器人与计算机视觉· Nilotpal Kakati·· 23 天前AI 评分45
LeJEPA 编码器在自监督学习中出现信号失真与下降的已知答案测试
Improving Signals, Declining Encoder: A Known-Answer Test of Label-Free Monitoring in Self-Supervised Learning
AI 导读
研究通过合成图像训练 LeJEPA 编码器,发现十次种子中九次因子可读性骤降且损失持续降低,但十一种无标签监控信号仍误判为改进。标准变点检测罕见在初期标记下降,基于这些信号的检查点选择多发生在衰退后。代码与数据已公开,该测试揭示了自监督训练中特征信号失真的潜在风险。
来源:arXiv · 机器人与计算机视觉 · arxiv.org