跳到正文
arXiv · 机器人与计算机视觉· Minh Quang Tran, Carter He, Cameron Bloch, Zitai Huang, Thien Truong Vo, Trong Nguyen Tran, Isaac Chen·· 17 天前AI 评分42

HistGramBench:多模态模型重绘历史数学图表的结构恢复评测基准

HistGramBench: Measuring Structural Recovery When Multimodal Models Redraw Historical Mathematical Diagrams as TikZ

AI 导读

HistGramBench 基准收录了 1551 至 1933 年间出版的 2,507 个来自八种语言的数学图表,用于评估多模态模型将其重绘为 TikZ 代码时的结构恢复能力。评测结果显示,表现最佳的模型仅能恢复约五分之三的事实(如平行与相切关系),且多数遗漏源于模型未生成绘图程序。该基准通过对比 AI 共识事实与模型自身输出,为历史学家和图书馆员提供了量化工具搜索能力的标准方法。

来源:arXiv · 机器人与计算机视觉 · arxiv.org