arXiv · 机器人与计算机视觉· T\'eo Guichoux, Th\'eodor Lemerle, Catherine Pelachaud, Nicolas Obin·· 14 小时前AI 评分37
Gaspard:基于连续自回归流匹配的统一语音与手势合成模型
Gaspard: Expressive unified speech and gesture synthesis with continuous autoregressive flow-matching and decoupled classifier-free guidance
AI 导读
Gaspard 是首个统一生成语音与伴随手势的模型,摒弃传统级联架构,直接通过连续自回归流匹配预测实现多模态协同。该模型在 Seamless Interaction 数据集上训练,利用解耦无分类器引导平衡推理时的模态影响,显著缓解动态坍缩并提升表达力。客观与感知评估显示,其手势生成能力优于单模态基线,且语音与手势同步性远超匹配的级联系统。
来源:arXiv · 机器人与计算机视觉 · arxiv.org