跳到正文
arXiv · 机器人与计算机视觉· Dongyu Wang, Dar-Yen Chen, Zhiming Hong, Arkaprabha Basu, Yi-Zhe Song·· 15 天前精选AI 评分82

Sketch-Omni:首个基于草图的感知多模态大模型发布

Sketch-Omni: Instance-Level Sketch-Based Visual Prompting for Perception MLLMs

AI 导读

论文提出了 Sketch-Omni,这是首个专为处理草图而构建的感知多模态大模型(Perception MLLM)。该模型利用边缘检测技术将标注照片转化为类草图数据,并通过光导关系对齐训练,实现了从草图到照片的实例级定位。

推荐理由

该工作构建了首个基于草图感知的多模态大模型,通过边缘检测与关系对齐技术实现了从草图到照片的实例级定位。

来源:arXiv · 机器人与计算机视觉 · arxiv.org