arXiv · 机器人与计算机视觉· Jianye Zeng, Qiao Yikang, Duan Huang, Ziying Song·· 2 天前AI 评分53
RAMP:通过答案读取协议重新思考多模态评估
RAMP: Rethinking Multimodal Evaluation through Answer Readout Protocols
AI 导读
本文介绍 RAMP 框架,系统比较了直接 token logit、表面形式分数及不同接口下的多模态模型表现。研究在固定检查点下发现,输入方式(如打字与裸读)显著改变准确率,且配对转换揭示大量预测变化。作者通过独立离线回放验证了原始分数的可复现性,确立了答案读取作为评估关键组件的地位。
来源:arXiv · 机器人与计算机视觉 · arxiv.org