跳到正文
arXiv · 机器人与计算机视觉· Faxian Wan, Xiaocui Yang, Yifan Cao, Shi Feng, Daling Wang, Yifei Zhang·· 4 小时前AI 评分28

SEAF:多模态反讽检测中的选择性语义增强与视觉证据融合框架

SEAF: Selective Semantic Enrichment and Visual Evidence Fusion for Multimodal Sarcasm Detection

AI 导读

SEAF 提出双分支框架,通过冻结 MLLM 生成实体背景并融合 OCR 文本以增强语义输入,同时结合全局局部视觉特征及跨模态相似度统计进行对齐。该方法利用 TASA 机制按图像与原文相似度加权,在 MMSD3.0 基准上超越所有对比方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org