跳到正文
arXiv · 机器人与计算机视觉· Nan Lu, Qifan Liang·· 2 天前精选AI 评分78

Speaking-Clock Mamba:基于音素条件状态空间模型的视觉强制对齐

Speaking-Clock Mamba: Phoneme-Conditioned State-Space Modeling for Visual Forced Alignment

AI 导读

该论文提出 Speaking-Clock Mamba 模型,旨在解决无声说话人脸视频中音素与单词边界的定位问题。现有方法在解码阶段强加转录顺序,导致编码器缺乏显式机制锚定时间表示,造成长序列下的对齐漂移。

推荐理由

提出 Speaking-Clock Mamba,通过语音钟监督机制解决长序列对齐漂移问题。

来源:arXiv · 机器人与计算机视觉 · arxiv.org