arXiv · 机器人与计算机视觉· Eunkyu Park, Wesley Hanwen Deng, Cheyon Jin, Matheus Kunzler Maldaner, Jordan Wheeler, Jason I. Hong, Hong Shen, Adam Perer, Ken Holstein, Motahhare Eslami, Gunhee Kim·· 6 天前AI 评分73
MM-SCALE:基于证据的道德判断评估基准
MM-SCALE: Evaluating Evidence-Grounded Moral Judgment in Vision-Language Models
AI 导读
作者提出 MM-SCALE 基准,包含 8,444 个图像上下文和 21,977 个行动场景,要求模型在共享视觉背景下比较不同行动的道德评分并 grounding 理由。结果显示当前 VLM 的 NDCG@5 虚高而内部排序准确率低,且常忽视视觉证据的关键性,揭示了现有模型的证据 grounding 失效问题。
来源:arXiv · 机器人与计算机视觉 · arxiv.org