跳到正文
arXiv · 机器人与计算机视觉· Jongbhin Woo, Youngjoon Jang, Joon Son Chung·· 12 小时前AI 评分45

SignAligner:双粒度跨度生成实现手语字幕与单词对齐

SignAligner: Dual-Granularity Span Generation for Sign Language Alignment

AI 导读

SignAligner 是一个提示条件视觉语言跨度生成器,联合训练于 BOBSL 语料库的字幕跨度和单词跨度。经重叠奖励优化后,该模型在 BOBSL 测试集上达到 66.68 [email protected],优于同架构基线及交叉熵续写方法。其能根据手语位置动态定位查询词,无需依赖视频中心固定位置,支持字幕对齐与单词跨度生成以供人工审查。

来源:arXiv · 机器人与计算机视觉 · arxiv.org