arXiv · 机器人与计算机视觉· Yujian Yuan, Jiabei Zeng, Shiguang Shan·· 13 天前AI 评分45
图像编码器与大语言模型链接实现面部表情描述
Describe Your Facial Expressions by Linking Image Encoders and Large Language Models
AI 导读
该方法提出三阶段训练框架,利用合成图文对与 BLIP-2 技术构建视觉到语言模型。实验显示其能生成包含面部动作细节及情感推断关系的描述,即便未见于训练数据。该任务还提升了中间视觉特征在 AU 检测与情感分类上的性能。
来源:arXiv · 机器人与计算机视觉 · arxiv.org