arXiv · 机器人与计算机视觉· Ben Kang, Junda Wang, Yuxuan Yuan, Hang Li, Yuhan Liu, Xin Chen, Wanting Geng, Tong Lin, Pei Fu, Dong Wang, Jian Luan, Huchuan Lu·· 4 小时前AI 评分73
DiLE:一种用于通用多模态嵌入的判别感知潜在空间学习框架
DiLE: Discrimination-Aware Latent-Space Learning for Universal Multimodal Embeddings
AI 导读
该论文提出了 DiLE 框架,旨在解决现有多模态大语言模型嵌入无法保留区分相关项与混淆项证据的问题。方法结合任务引导与在线检索反馈,利用少量可学习查询编码紧凑潜在空间信息,并通过推理指令和辅助答案生成监督塑造表示。
来源:arXiv · 机器人与计算机视觉 · arxiv.org