跳到正文
arXiv · 机器人与计算机视觉· Issar Tzachor, Dvir Samuel, Rami Ben-Ari·· 15 天前精选AI 评分84

VidVec:解锁视频 MLLM 嵌入以用于视频 - 文本检索

VidVec: Unlocking Video MLLM Embeddings for Video-Text Retrieval

AI 导读

论文分析指出预训练多模态大模型(MLLM)在零样本视频 - 文本检索任务中已具备显著能力,通过结合中间层嵌入与校准头即可实现强性能。作者提出一种无需成对多模态数据的轻量级文本优化策略,利用密集视频字幕作为语义代理、短摘要作为查询视图,证明精心设计的文本对齐目标能通过共享骨干网络提升多模态对齐效果。该方法在常见基准测试中超越现有方法并达到最先进水平,且计算成本低于依赖成对监督的训练方式。

推荐理由

提出无需成对视频数据的轻量文本优化策略,利用预训练多模态大模型中间层嵌入实现视频 - 文本检索 SOTA。

来源:arXiv · 机器人与计算机视觉 · arxiv.org