跳到正文
arXiv · 机器人与计算机视觉· Razieh Rezaei, Ehsaneddin Asgary, Masoud Jalili Sabet·· 28 天前AI 评分48

Melange:多模态大语言模型的合成视觉偏见基准

Melange: A Synthetic Visual Bias Benchmark for Multi-modal Large Language Models

AI 导读

Melange 是一个涵盖七类社会偏见的合成视觉基准,基于 BBQ 数据集通过受控生成视觉场景构建。该基准经 VQA 自动化筛选与人工复核验证,系统评估了 23 个开源 MLLM 在纯文本、纯图像及图文结合三种设置下的表现。结果显示从文本转为视觉输入使公平性平均降低 0.291,模型虽以 90%–95% 准确率识别属性却仍无法避免偏见回答。

来源:arXiv · 机器人与计算机视觉 · arxiv.org