arXiv · 机器人与计算机视觉· Jonggwon Park, Seongeun Lee, Junhyun Park, Hannah Yun, Hyunwoong Kim, Sohyun Jeong, Hyewon Kang, Byungmu Yoon, Kyoyun Choi·· 9 天前AI 评分73
GLINT:稀疏门控视觉语言对齐实现细粒度放射学表征
GLINT: Sparsely Gated Vision-Language Alignment for Fine-Grained Radiology Representations
AI 导读
针对放射学中图像 - 报告配对存在的全局监督与局部病灶不匹配问题,该研究提出 GLINT 框架,通过稀疏门控对齐和密集特征正则化,在无需掩码监督的情况下实现了 3D CT 的零样本分割。该方法同时支持 2D CXR 和 3D CT,在分类、报告生成及分割任务上均优于自监督编码器和医疗视觉语言模型。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org