arXiv · 机器人与计算机视觉· Meisen Wang, Zhiqiang Tian, Wei Bao, Chengjie Wang, Shaoyi Du, Siqi Li·· 5 小时前AI 评分62
Hyper-RED:通过语义超图蒸馏实现可扩展的事件预训练
Hyper-RED: Scalable Event Pre-training via Semantic Hypergraph Distillation
AI 导读
针对大规模标注事件数据稀缺及现有方法忽视模态差异的问题,本文提出 Hyper-RED 框架。该方法利用 DINOv3 提取空间 Token 表示,构建图像、事件及跨模态语义超图,并通过超图关系蒸馏损失在继承图像语义组织的同时保留事件局部一致性与特性。实验在五组数据集上验证了从 ViT-S 到 ViT-L 的可扩展性及最先进性能。代码已开源。
来源:arXiv · 机器人与计算机视觉 · arxiv.org