arXiv · 机器人与计算机视觉· Ali Amini, Masoumeh Chapariniya, Rytis Maskeliunas, Robertas Dama\v{s}evi\v{c}ius·· 6 天前AI 评分15
对话评估中的标签泄露效应:同一演示对不同子群产生相反影响
The Neighbour's Label: Opposite Subgroup Effects of Same-Dialogue Exposure in Next-Act Evaluation
AI 导读
基于 SGD、STAR 和 AMI 语料库的实验表明,训练集中包含测试对话的前驱行会提升词汇分类器的延续得分却降低转换得分。该现象在两个 7B 指令微调模型及 TF-IDF 检索演示的八种组合中均呈现相反模式,而自然权重准确率仅波动 -0.05 至 +0.04。研究通过排除测试对话验证了泄露频率依赖检索管线且无需重新训练即可诊断,所有暴露均为诱导产生而非重评已发布系统。
来源:arXiv · 机器人与计算机视觉 · arxiv.org