arXiv · 机器人与计算机视觉· DM BAPPY, Eunsu Kim, Hanjoo Lee, Sung Hak Lee, Sangjeong Ahn·· 28 天前AI 评分35
Expandable Modality Experts 提出医疗视觉语言学习新架构,在九类模态的 25 个基准测试中表现最优或并列第一
Expandable Modality Experts for Medical Vision-Language Learning
AI 导读
该研究提出基于可扩展模态专家库的医疗视觉语言技术,利用 ViT-Large 骨干网络结合共享视觉计算与确定性路由的前馈专家。方法在七种模态、1940 万无配对图像行及 323 万图文对上预训练对齐,零样本分类平均平衡准确率达 0.674,线性探测为 0.856,双向检索召回率为 20.70%。该技术在不冻结原有路径的前提下实现了模块化学习与表示扩展,已提交至 ICLR 2027。
来源:arXiv · 机器人与计算机视觉 · arxiv.org