跳到正文
arXiv · 机器人与计算机视觉· Akshita Gupta, Tatiana Likhomanenko, Karren Dai Yang, Richard He Bai, Zakaria Aldeneh, Navdeep Jaitly·· 2026-10-12AI 评分53

基于解码器的视频 - 文本到语音合成中的多模态同步机制:来自 Visatronic 模型的洞察

Mechanisms of Multimodal Synchronization: Insights from Decoder-Based Video-Text-to-Speech Synthesis

AI 导读

该论文通过视频 - 文本到语音(VTTS)合成任务,研究了统一解码器中不同采样率模态间的序列设计与同步问题。研究发现,全局顺序索引与同时间序索引在域内表现相当,但在跨域迁移时,结合文本优先的同时间序索引无需显式时间戳即可实现最鲁棒的泛化。

来源:arXiv · 机器人与计算机视觉 · arxiv.org