arXiv · 机器人与计算机视觉· Fei Su, Kai Qiu, Juan Liu·· 6 天前AI 评分48
MuViRL:通过校准视图聚合实现多模态视图不变视觉语音表征学习
MuViRL: Multimodal View-Invariant Visual Speech Representation Learning via Calibrated View Aggregation
AI 导读
MuViRL 是一种自监督框架,结合同步 3D 高斯视图合成与多模态自监督,利用决策模型校准分数指导信息聚合并蒸馏至单分支。实验在真实与合成多视角数据上验证了该方法能提升跨视图的多模态表征一致性及视觉语音识别性能。该研究共 30 页含 7 张图,属于计算机视觉领域的预印本论文。
来源:arXiv · 机器人与计算机视觉 · arxiv.org