跳到正文
arXiv · 机器人与计算机视觉· Jiazhen Liu, Yanghao Wang, Chaolei Tan, Long Chen·· 2 天前精选AI 评分78

SelfMark:一种用于多模态大模型的原生视觉推理能力

Visual Marking as a Native Reasoning Capability for Multimodal LLMs

AI 导读

该论文介绍了 SelfMark 方法,该方法允许多模态大模型在其原生的视觉特征空间中构建和使用视觉标记进行推理。通过 locate-mark-read 流程建立标记与图像的显式空间对应关系,并在空间规划、密集计数等任务上联合训练单一模型。实验显示该方法在六个基准测试中优于现有专用方法,且效果在不同骨干网络上保持一致。

推荐理由

提出 SelfMark 方法,将视觉标记直接嵌入多模态大模型特征空间以增强推理能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org