arXiv · 机器人与计算机视觉· Eadom Dessalene, Michael Maynord, Amir-Hossein Shahidzadeh, Botao He, Yasamin Tabatabaee, Ruoshi Liu, Ruohan Gao, Paul Pu Liang, Yiannis Aloimonos·· 17 天前精选AI 评分82
MotorSense:首个大规模配对视频与肌电信号的动作理解数据集
MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding
AI 导读
针对计算机视觉模型仅依赖视觉后果而缺乏本体运动信号的问题,该工作提出了 MotorSense,这是首个大规模的双手肌电(EMG)与第一人称视频配对数据集。数据包含 100 小时无脚本操作中的同步视频、双手 EMG、IMU 及音频。
推荐理由
该工作提出首个大规模配对视频与肌电信号数据集,通过跨模态预训练实现视听对齐,在动作识别等任务上超越传统自监督方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org