arXiv · 机器人与计算机视觉· Nan Lu, Qifan Liang·· 2 天前精选AI 评分78
Speaking-Clock Mamba:基于音素条件状态空间模型的视觉强制对齐
Speaking-Clock Mamba: Phoneme-Conditioned State-Space Modeling for Visual Forced Alignment
AI 导读
该论文提出 Speaking-Clock Mamba 模型,旨在解决无声说话人脸视频中音素与单词边界的定位问题。现有方法在解码阶段强加转录顺序,导致编码器缺乏显式机制锚定时间表示,造成长序列下的对齐漂移。
推荐理由
提出 Speaking-Clock Mamba,通过语音钟监督机制解决长序列对齐漂移问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org