arXiv · 机器人与计算机视觉· Xiaofei Sun, Peng Wang, Huayao Liu, Xiaoxiao Xu, Jun Song, Deqing Li, Lin Qu·· 14 天前精选AI 评分78
Omni-Encoder:基于共享 SigLIP2 的多模态编码器研究
When Does Sharing Work? Scaling a Shared SigLIP2 Across Image, Video, Audio, and Audio-Visual Representations
AI 导读
论文介绍 Omni-Encoder,这是一种将图像、视频、音频和音视频输入统一处理于单个 SigLIP-2 Vision Transformer 中的通用多模态编码器。
推荐理由
该工作提出 Omni-Encoder,通过共享参数与联合优化实现图像、视频、音频及音视频的统一编码,在 16 个基准测试中表现优异。
来源:arXiv · 机器人与计算机视觉 · arxiv.org