arXiv · 机器人与计算机视觉· Rui Hong, Jana Ko\v{s}eck\'a·· 4 小时前精选AI 评分83
MoGloss:面向美国手语理解的联合运动与伪 gloss 预训练
MoGloss: Joint Motion and Pseudo-Gloss Pretraining for American Sign Language Understanding
AI 导读
该论文提出一种针对运动编码器的两阶段预训练新方法,先学习重建掩码后的运动数据,再联合预测由大语言模型生成的伪 gloss 单元和运动数据。作者整理了约 1,100 小时的美国手语语料库并定义了评估协议。
推荐理由
提出运动与伪 gloss 联合预训练策略,在多个 ASL 数据集上超越现有最先进方法。
来源:arXiv · 机器人与计算机视觉 · arxiv.org