arXiv · 机器人与计算机视觉· Xinze Shi, Litian Zhang, Zhenjie Su, Zelong Yu, Yuting Zhang, Qihua Feng, Zifeng Kang, Chaozhuo Li, Zhengxuan Hu·· 4 小时前精选AI 评分78
Bradley-Terry 训练可扭曲语言世界模型的初始准确结果概率
Bradley-Terry Training Can Distort Outcome Probabilities of Initially Accurate Language World Models
AI 导读
该论文通过模拟机器人推搡实验发现,使用 Bradley-Terry 目标函数进行对比反馈训练时,即使模型在未见布局上原本准确(危险误差仅 2.4pp),其概率分布也会发生显著偏移。
推荐理由
研究表明 Bradley-Terry 目标函数会扭曲语言世界模型的初始准确概率,导致模型将概率分配给未发生的分支。
来源:arXiv · 机器人与计算机视觉 · arxiv.org