arXiv · 机器人与计算机视觉· Yunhe Gao, Ashwin Kumar, Jiaming Liu, Chong Wang, Maya Varma, Fuying Wang, Stefania L. Moroianu, Louisa Fay, Sergios Gatidis, Akshay S. Chaudhari, Curtis Langlotz·· 13 小时前AI 评分72
重新思考放射学语言图像预训练中的对比目标:CorLIP 方法
Rethinking Contrastive Targets in Radiology Language-Image Pretraining
AI 导读
针对放射学中 CLIP 风格对比预训练中出现的零样本评估先升后降及大样本训练失效问题,作者提出这是由于未配对报告间存在临床事实重叠导致的目标误配。通过构建合成测试床验证该结构假设,论文提出了无需架构修改的 CorLIP 方法,仅在文本断言与图像一致时视为正样本。该方法消除了峰值后的性能退化,使大样本(B=2048)训练稳定收敛,并显著提升了数据增益,且可从胸部 X 光迁移至三维 CT 模态。
来源:arXiv · 机器人与计算机视觉 · arxiv.org