arXiv · 机器人与计算机视觉· Ankit Khedia, Astitva Jaiswal, Chaitanya Prasad, Anisha Raju, Aangeeras·· 20 天前AI 评分57
相似分数相反失败:人类修正作为视频描述评估工具
Similar Scores, Opposite Failures: Human Correction as an Instrument for Video Caption Evaluation
AI 导读
该研究测试了针对单句图像描述的指标在密集多窗口视频描述上的表现,发现其无法反映人类判断。通过 196 个短片和 1,144 次整体及 4,672 次窗口的标注,证明 BLEU-4 等参考重叠指标无法区分被接受与拒绝的文本。研究揭示了阅读粒度对错误检测的影响,并提供了失败分类法、模型画像及代码以支持更细致的评估。
来源:arXiv · 机器人与计算机视觉 · arxiv.org