跳到正文
arXiv · 机器人与计算机视觉· Eadom Dessalene, Michael Maynord, Amir-Hossein Shahidzadeh, Botao He, Yasamin Tabatabaee, Ruoshi Liu, Ruohan Gao, Paul Pu Liang, Yiannis Aloimonos·· 17 天前精选AI 评分82

MotorSense:首个大规模配对视频与肌电信号的动作理解数据集

MotorSense: A Video-EMG Dataset of Motoric Representations for Action Understanding

AI 导读

针对计算机视觉模型仅依赖视觉后果而缺乏本体运动信号的问题,该工作提出了 MotorSense,这是首个大规模的双手肌电(EMG)与第一人称视频配对数据集。数据包含 100 小时无脚本操作中的同步视频、双手 EMG、IMU 及音频。

推荐理由

该工作提出首个大规模配对视频与肌电信号数据集,通过跨模态预训练实现视听对齐,在动作识别等任务上超越传统自监督方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org