跳到正文
arXiv · 机器人与计算机视觉· Wentao Wu, Xiao Wang, Yi Wang, Chenglong Li, Yonghong Tian, Bin Luo·· 9 天前AI 评分42

CM3AE 2.0 利用互补事件帧与体素表示实现 RGB 引导的多模态预训练

Leveraging Complementary Event Frame and Voxel Representations for RGB-Guided Multimodal Pre-training

AI 导读

CM3AE 2.0 提出统一框架,通过事件感知时空掩码重建策略及分层跨模态生成机制,联合学习多模态时空表征并挖掘潜在依赖。在四个多样化下游任务上的广泛实验表明,该预训练框架能持续提升性能,验证了其有效性与泛化能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org