跳到正文
arXiv · 机器人与计算机视觉· Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu·· 2 天前AI 评分72

DoF-Query Transformer 用于自适应融合眼动视觉与前臂 HD-sEMG 以估计连续手部运动学

DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics

AI 导读

该论文提出一种无需束缚手指的多模态框架,利用基于 Vision Transformer 的视觉编码器和基于 Transformer 的 EMG 编码器,配合自由度(DoF)查询 Transformer 融合解码器,实现从眼动 RGB 图像和 128 通道前臂高密度表面肌电信号对 20 个手部关节角度的连续回归。

来源:arXiv · 机器人与计算机视觉 · arxiv.org