arXiv · 机器人与计算机视觉· Kansuke Habano·· 2026-10-12AI 评分43
自中心视频嵌入与惯性传感器融合的人体动作识别研究
What Egocentric Video Embeddings Encode and How to Combine Them with Inertial Sensors for Human Activity Recognition
AI 导读
该研究揭示在 VideoMAEv2、CLIP、DINOv2 及 VC-1 模型中,自中心视频嵌入的主方向主要由摄像头注视位置主导。通过在 WEAR 数据集挑战赛中移除时间顺序并利用肢体惯性信号传播预测,将受试者交叉验证宏 F1 从 0.648 提升至 0.852。实验表明仅在视频图上进行传播有效,单一分类器融合或多模态边融合均表现更差。
来源:arXiv · 机器人与计算机视觉 · arxiv.org