跳到正文
arXiv · 机器人与计算机视觉· Kim Sung-Bin, Joohyun Chang, David Harwath, Tae-Hyun Oh·· 13 天前AI 评分45

FacEDiT:通过面部运动填充实现说话人头视频编辑

FacEDiT: Talking Head Video Editing via Facial Motion Infilling

AI 导读

FacEDiT 模型将说话人头视频编辑定义为自监督的面部运动填充任务,利用语音与周围运动上下文恢复被掩码区域。该模型引入局部时间注意力偏差和时序平滑正则化以优化口型对齐及边界连续性,并配套发布首个涵盖多样编辑类型的 FacEDiTBench 基准。实验表明该方法在保持身份特征的同时实现了精准的语音对齐编辑,且同一架构可拓展至肖像动画与口型同步任务。

来源:arXiv · 机器人与计算机视觉 · arxiv.org