跳到正文
arXiv · 机器人与计算机视觉· Yerim So, Jiyeong Kim, Jiwon Yoon, Dongbo Min·· 15 天前AI 评分53

Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition

Spatio-Temporal Similarity Volume Aggregation for Open-Vocabulary Action Recognition

AI 导读

该论文针对现有开放词汇动作识别方法丢失局部细粒度信息的不足,提出 SimVA 框架。该方法构建稠密的 4D 时空相似度体积,利用类采样确保可扩展性,并通过空间聚合、运动感知调制及基于 Mamba 的时序聚合来增强帧内一致性与跨帧演化建模。实验表明,SimVA 能有效将 CLIP 迁移至视频动作识别任务,在零样本、少样本及基类到新颖类基准上均达到具有竞争力的性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org