arXiv · 机器人与计算机视觉· Yipeng Sun, Jiajun Wang, Siyuan Mei, Yan Xia, Siming Bayer, Vincent Christlein, Andreas Maier·· 2 天前AI 评分74
跨模态对齐的关键因素:LightAlign 方法仅需少量配对数据实现医学影像与文本的高效对齐
What Matters for Cross-Modal Alignment
AI 导读
论文测试了零配对跨模态对齐的可行性,发现仅在自然图像数据集成功,而环境音频、胸部 X 光及 CT 等失败,分析表明需先定位共变子空间。为此提出 LightAlign 方法:利用少量配对数据通过岭回归同时确定映射位置与方向,并用文本分类器预测医学影像中的诊断结果。在 3D CT 任务上,该方法仅需约 200 对数据即可超越端到端训练的模型,且在未见过的医院数据集上也表现优异。
来源:arXiv · 机器人与计算机视觉 · arxiv.org