跳到正文
arXiv · 机器人与计算机视觉· Jianye Zeng, Qiao Yikang, Duan Huang, Ziying Song·· 2 天前AI 评分53

RAMP:通过答案读取协议重新思考多模态评估

RAMP: Rethinking Multimodal Evaluation through Answer Readout Protocols

AI 导读

本文介绍 RAMP 框架,系统比较了直接 token logit、表面形式分数及不同接口下的多模态模型表现。研究在固定检查点下发现,输入方式(如打字与裸读)显著改变准确率,且配对转换揭示大量预测变化。作者通过独立离线回放验证了原始分数的可复现性,确立了答案读取作为评估关键组件的地位。

来源:arXiv · 机器人与计算机视觉 · arxiv.org