arXiv · 机器人与计算机视觉· Avi Gupta, Nilotpal Sinha, Vishnu Raj, Sambuddha Saha, Pratik Joshi, Koteswar Rao Jerripothula, Tammam Tillo·· 29 天前AI 评分72
面向上下文驱动的类增量学习的多模态基础模型泛化方法
Generalizing Multimodal Foundational Models in Context-Driven Class Incremental Learning
AI 导读
本文针对音频 - 视觉模态的类增量学习(CIL)问题,提出一种将冻结的多模态基础模型(MFMs)泛化的新框架。该方法利用音频表征作为任务稳定的上下文引导来辅助视觉表征,并结合特征与逻辑层面的蒸馏以缓解灾难性遗忘。在多个基准测试中表现优于现有最先进方法。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org