跳到正文
arXiv · 机器人与计算机视觉· Yujian Yuan, Jiabei Zeng, Shiguang Shan·· 13 天前AI 评分45

图像编码器与大语言模型链接实现面部表情描述

Describe Your Facial Expressions by Linking Image Encoders and Large Language Models

AI 导读

该方法提出三阶段训练框架,利用合成图文对与 BLIP-2 技术构建视觉到语言模型。实验显示其能生成包含面部动作细节及情感推断关系的描述,即便未见于训练数据。该任务还提升了中间视觉特征在 AU 检测与情感分类上的性能。

来源:arXiv · 机器人与计算机视觉 · arxiv.org