跳到正文
arXiv · 机器人与计算机视觉· Wanqi Dong, Wanyue Dong, Jingze Ge, Mehul Motani·· 23 天前精选AI 评分78

GRASP:无需推理标注的医疗视觉问答混合后训练方法

GRASP: Group-Adaptive Hybrid RL-SFT Post-Training for Medical VQA without Reasoning Annotations

AI 导读

针对医疗视觉问答(VQA)数据稀缺且缺乏推理标注的问题,本文提出 GRASP 方法,将强化学习与监督微调结合于每次更新中,利用 RL 探索模型自身推理并由 SFT 提供金标准答案进行直接监督。该方法仅微调约 1% 参数,在 Qwen3-VL-8B、InternVL3-8B 和 Gemma 3-4B 等模型上均优于对比基线。论文开源了包含 12.9K 短答案问题的 MedTerse 数据集及代码。

推荐理由

提出 GRASP 方法,结合 RL 探索与 SFT 监督解决医疗 VQA 数据稀缺且无推理标注的难题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org