arXiv · 机器人与计算机视觉· Jun Dong, Ronghui Li, Zhongyuan Hu, Yunqi Zhao, Lijie Guo, Ruizhang Xu, Di Kang, Linchao Bao, Xiu Li·· 2 天前AI 评分46
DuoFlow:实现细粒度控制的同步语音与动作生成
DuoFlow: Towards Synchronized Speech and Motion Generation with Fine-Grained Control
AI 导读
DuoFlow 是一种双流潜在流 Transformer,通过共享噪声水平和统一秒级时间坐标联合去噪语音与动作。该模型利用模态特定残差连接器注入结构化条件,并采用逐层双向跨模态注意力协调生成,同时结合单调音素路径强化时序建模。研究构建了 MotionSpeech 基准以支持对运动层级、身体部位及发声风格的显式控制,实现了高质量且指令一致的同步序列合成。
来源:arXiv · 机器人与计算机视觉 · arxiv.org