跳到正文
arXiv · 机器人与计算机视觉· Nabeela Khan, Gaurav Rai, Bowen Wu, Sihan Tan, Benjamin Yen, Takeshi Ashizawa, Kazuhiro Nakadai·· 13 小时前AI 评分45

SIGNTOK:一种用于手语生成的文本对齐连续姿态分词器

SIGNTOK: A Text-Aligned Continuous Pose Tokenizer for Sign Language Generation

AI 导读

针对现有手语生成方法在姿态空间中受 signer 身份主导导致语义混淆的问题,SIGNTOK 提出了一种由运动动力学、句子级和单词级三个训练头塑造潜在空间的连续姿态分词器。该方法将同一句子的跨 signer 最近邻率从原始姿态空间的 2% 提升至 82%,并在六个基准评测器的设置下,使相同生成器在五个场景中的回译 BLEU-4 分数优于直接在姿态空间训练的模型。

来源:arXiv · 机器人与计算机视觉 · arxiv.org