arXiv · 机器人与计算机视觉· Jiahan Li, Huangyuan Su, Shengbang Tong, Shusheng Yang, Ruihan Guo, Suozhi Huang, Hexu Zhao, Pratyusha Sharma, Sherry Yang, Jiatao Gu, Rob Fergus, Kyunghyun Cho·· 28 天前AI 评分75
JUICE:在预训练表示空间中统一的多模态建模
JUICE: Unified Multimodal Modeling in Pretrained Representation Spaces
AI 导读
该论文介绍 JUICE(Joint Unified multimodal modeling In Continuous Encoder spaces),这是一个基于冻结图像和文本表示的单一流匹配 Transformer,每个模态拥有独立的噪声水平以支持联合或条件生成任务。
来源:arXiv · 机器人与计算机视觉 · arxiv.org