跳到正文
arXiv · 机器人与计算机视觉· Wangshu Cai, Jun Zhou, Lei Wang, Mohammad Aminul Islam, Xu Han, Kuldip Paliwal·· 16 天前精选AI 评分78

SProTrack:基于潜在光谱提示的多模态高光谱目标跟踪方法

Latent Spectral Prompting for Multimodal Hyperspectral Object Tracking

AI 导读

针对高光谱视频标注稀缺及 RGB 与高光谱域差距大的问题,论文提出 SProTrack 框架。该方法利用自编码器从高光谱帧学习全局场景级光谱表示作为潜在提示,将时序建模能力从预训练的 RGB 基础模型继承,同时通过无监督方式学习高光谱信息,无需密集监督或大规模重训练。实验在 HOT2020 和 HOT2023 数据集上验证了该方法在所有光谱域均表现优异。

推荐理由

提出 SProTrack 框架,通过潜在光谱提示将 RGB 预训练跟踪器的时序知识迁移至高光谱域。

来源:arXiv · 机器人与计算机视觉 · arxiv.org