arXiv · 机器人与计算机视觉· Rishav Pramanik, Ian E. Nielsen, Jeff Smith, Saurav Pandit, Ravi P. Ramachandran, Zhaozheng Yin·· 9 天前AI 评分53
SANEval:开放词汇组合性基准与故障模式诊断
SANEval: Open-Vocabulary Compositional Benchmarks with Failure-mode Diagnosis
AI 导读
针对文本生成图像模型在组合提示上的局限,本文提出 SANEval 基准,包含约 5250 个提示词配对图像的数据集及模块化评测管线。该管线结合 LLM 解析器、开放词汇检测器与属性/空间/数量评分器,经人工验证显示其相关性优于现有 CompBench++ 和 GenEval。数据集与代码已开源,论文已被 NeurIPS 2026 接收。
来源:arXiv · 机器人与计算机视觉 · arxiv.org