跳到正文
arXiv · 机器人与计算机视觉· Deyao Hong, Jiayi Jiang, Yuchun Chen, Yixuan Shi, Wenyi Li, Zheng Jiang, Chengxing Xie, Mingyu Su, Qingle Liu, Mingju Gao, Yizhe Chi, Youjie Zheng, Calvin Xiao, Kaisen Yang, Huan-ang Gao·· 6 天前AI 评分72

Visual Cipher Bench:评估大语言模型智能体的长程视觉推理能力

Visual Cipher Bench: Benchmarking LLM Agents on Long-Horizon Visual Reasoning

AI 导读

作者发布 Visual Cipher Bench 基准,包含 40 个仅需黑白线稿和最少指令的视觉谜题,涵盖空间操作、逻辑约束等四类任务。实验显示,在八种前沿模型中,最强模型 GPT-6 Astra (max) 准确率仅 26.7%,多数低于 1%;而提供单一非剧透提示后,十项子任务的准确率从 7.8% 提升至 55.6%。

来源:arXiv · 机器人与计算机视觉 · arxiv.org