arXiv · 机器人与计算机视觉· Jiahang Liu, Wenbo Zhang, Junsong Wang, Zhenzhi Ying, Siqi Hou, Naohiko Sugita, Liming Shu·· 2 天前AI 评分72
DoF-Query Transformer 用于自适应融合眼动视觉与前臂 HD-sEMG 以估计连续手部运动学
DoF-Query Transformer for Adaptive Fusion of Egocentric Vision and Forearm HD-sEMG in Continuous Hand Kinematics
AI 导读
该论文提出一种无需束缚手指的多模态框架,利用基于 Vision Transformer 的视觉编码器和基于 Transformer 的 EMG 编码器,配合自由度(DoF)查询 Transformer 融合解码器,实现从眼动 RGB 图像和 128 通道前臂高密度表面肌电信号对 20 个手部关节角度的连续回归。
来源:arXiv · 机器人与计算机视觉 · arxiv.org