arXiv · 机器人与计算机视觉· Pengcheng Shi, Minghui Zhang, Kehan Song, Jiaqi Liu, Yun Gu, Xinglin Zhang·· 23 天前AI 评分65
U-VLM:用于报告生成的分层视觉语言建模
U-VLM: Hierarchical Vision Language Modeling for Report Generation
AI 导读
针对三维医学影像报告生成任务,现有视觉语言模型存在未利用分割预训练编码器及仅在输入层注入视觉特征导致多尺度信息丢失的问题。本文提出 U-VLM 架构,实现从分割到分类再到报告生成的渐进式训练,并将 U-Net 编码器特征路由至语言模型对应层级进行多层注入。
来源:arXiv · 机器人与计算机视觉 · arxiv.org