arXiv · 机器人与计算机视觉· Jen-Tse Huang, Dasen Dai, Jen-Yuan Huang, Youliang Yuan, Xiaoyuan Liu, Wenxuan Wang, Wenxiang Jiao, Pinjia He, Zhaopeng Tu, Haodong Duan·· 28 天前AI 评分68
人类认知基准揭示 MLLM 的基础视觉缺陷:VisFacor 评测报告
Human Cognitive Benchmarks Reveal Foundational Visual Gaps in MLLMs
AI 导读
论文提出 VisFacor 基准,将 FRCT 心理学测试中的 20 项视觉子测试数字化,并设计了自动生成与验证无限测试用例的算法。该基准评估了包括 GPT、Gemini、LLaMA、Qwen 在内的 39 个前沿多模态大模型,结果显示最佳模型得分仅为 55.9%。
来源:arXiv · 机器人与计算机视觉 · arxiv.org