跳到正文
arXiv · 机器人与计算机视觉· Meiqi Gong, Hao Zhang, Jiayi Ma·· 20 天前AI 评分63

MemoryFusion:面向多模态视频融合的跨时间记忆学习

MemoryFusion: Cross-Temporal Memory Learning for Multimodal Video Fusion

AI 导读

针对现有方法依赖短程交互导致长时信息利用不足及融合表示不一致引发闪烁的问题,论文提出 MemoryFusion 框架。该框架分两阶段工作:第一阶段结合短期记忆库与长期记忆库以兼顾局部引导与历史保留,并利用时序平滑模块进行背景稳定;第二阶段通过轻量级 3D 残差时序细化模块修正剩余不一致性并增强结构细节。实验表明该方法在多模态视频融合质量与时序一致性上优于现有基线。

来源:arXiv · 机器人与计算机视觉 · arxiv.org