跳到正文
arXiv · 机器人与计算机视觉· Maximiliano Wardle·· 9 天前AI 评分68

Evaluating Physically Grounded Procedural Reasoning in VLMs through Real-World Execution: Crochet as a Testbed

Evaluating Physically Grounded Procedural Reasoning in VLMs through Real-World Execution: Crochet as a Testbed

AI 导读

作者提出以钩针编织为物理测试床来评估视觉语言模型(VLM)的物理基础程序推理能力,因为该过程难以仿真且验证成本低。研究引入 FoundationChain 测试框架,通过手工执行四个 VLM 生成的 40 种钩针图案进行验证。结果显示仅有四个图案无错误,分析暴露了模型在视觉、几何和程序推理方面的缺陷。

来源:arXiv · 机器人与计算机视觉 · arxiv.org