跳到正文
arXiv · 机器人与计算机视觉· Panagiotis Koromilas, Eleanna Vali, Diogenis Antonopoulos, Eleni Saka, Dimitris Christofis, Nikolaos Ioannis Bountos, Konstantin Klemmer, Ioannis Papoutsis, Yannis Panagakis, Mihalis A. Nicolaou·· 24 天前精选AI 评分82

LoCA:赋能地理空间编码器多模态能力

LoCA: Enabling Multi-Modality in Geospatial Location Encoders

AI 导读

论文证明现有地理编码器受限于内在维度导致对比损失无法达到最优,提出 LoCA 框架通过两阶段流程解决多模态对齐与高秩问题。第一阶段联合训练 Sentinel-1 和 Sentinel-2 编码器生成共对齐的高秩目标;第二阶段冻结图像编码器并训练位置与表格元数据编码器的投影适配器。在涵盖土地覆盖、野火预测及气候应用的十七项任务中,LoCA 胜出率最高且是唯一多数任务优于其他模型的架构。

推荐理由

提出 LoCA 框架解决地理编码多模态对齐难题,在十七项任务中胜出率最高且唯一多数任务优于其他模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org