跳到正文
arXiv · 机器人与计算机视觉· Jaehong Myung, Seungho Eum, Taegon Kim, Hyunjung Chung, Unsang Park·· 2026-10-20AI 评分42

CASE:互补发音感知语音编码器增强驱动式三维面部动画

CASE: Complementary Articulation-Aware Speech Encoder to Enhance Speech-Driven 3D Facial Animation

AI 导读

CASE 通过对比对齐短语音片段与连续 3D 唇部网格 VQ-VAE 潜变量,将几何分支移除并融合至基线 SSL 表示。在四个 VOCASET 基线上,该方法使平均唇顶点误差降低 2.8%-6.0%,且全脸顶点误差在所有系统中均下降。该结果基于韩语语音 - 几何对适配与英语 VOCASET 评估,验证了在共享英文预训练先验下跨语言下游迁移的一致性。

来源:arXiv · 机器人与计算机视觉 · arxiv.org