跳到正文
arXiv · 机器人与计算机视觉· Ryugo Morita, Shunsuke Kitada, Stanislav Frolov, Brian Bernhard Moser, Ko Watanabe, Riku Takahashi, Jinjia Zhou, Andreas Dengel·· 27 天前精选AI 评分83

ShadowBench:诊断 VLMs 的阴影推理缺陷及从图像生成模型借用缺失先验

Where Did the Light Come From? Diagnosing Cast-Shadow Reasoning in VLMs and Borrowing the Missing Shadow Prior from Image Generation Models

AI 导读

论文介绍了 ShadowBench 基准,该基准基于真实照片构建正确、无阴影和错误方向三种状态,用于评估视觉语言模型(VLMs)对阴影方向的读取、缺失阴影推断及物理一致性判断能力。

推荐理由

该研究揭示了 VLMs 在阴影推理上的短板,并证明利用图像生成模型作为先验可显著提升其物理一致性判断能力。

来源:arXiv · 机器人与计算机视觉 · arxiv.org