跳到正文
arXiv · 机器人与计算机视觉· Kesav Kumar Jayakumar, Karthigeyan Thilak·· 2026-10-20AI 评分65

Token-Set Choice Confounds POPE:对 VLM 幻觉评估中 Yes/No 提取的系统审计

Token-Set Choice Confounds POPE: A Systematic Audit of Yes/No Extraction in VLM Hallucination Evaluation

AI 导读

论文复现了基于 POPE 基准的幻觉缓解结果,发现主流评估代码在读取模型输出时存在逻辑缺陷:仅比较两个词汇 ID(3582 和 1217)无法捕捉到实际生成的带空格表面形式(如' Yes'),导致 F1 分数虚高。

来源:arXiv · 机器人与计算机视觉 · arxiv.org