跳到正文
arXiv · 机器人与计算机视觉· Yuancheng Wei, Haojie Zhang, Linli Yao, Lei Li, Jiali Chen, Tao Huang, Yiting Lu, Duojun Huang, Xin Li, Zhao Zhong·· 16 天前AI 评分38

DiffCap-Bench:首个涵盖十类差异的图像差分描述基准与评测协议

DiffCap-Bench: A Comprehensive, Challenging, Robust Benchmark for Image Difference Captioning

AI 导读

DiffCap-Bench 是一个涵盖十类差异的新颖基准,通过人类验证的差异列表和 LLM-as-a-Judge 协议评估多模态大模型在细粒度变化感知上的表现。实验揭示专有模型与开源模型存在显著性能差距,并指出推理能力对捕捉视觉变化的关键作用及模型扩展的局限。该基准代码将公开以支持后续研究,其结果与下游图像编辑数据构建质量高度相关。

来源:arXiv · 机器人与计算机视觉 · arxiv.org