arXiv · 机器人与计算机视觉· Emilio Ferrara·· 2 天前精选AI 评分78
DominoBench:基于静态图像的跨步物理推理评估基准
DominoBench: Evaluating Multi-Step Physical Reasoning from Still Images
AI 导读
论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。
推荐理由
该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。
来源:arXiv · 机器人与计算机视觉 · arxiv.org