跳到正文
arXiv · 机器人与计算机视觉· Martin Q. Ma, Yuxiao Qu, Ruslan Salakhutdinov, Louis-Philippe Morency, Paden Tomasello, Juan Pino·· 16 天前精选AI 评分78

视频推理中 Best-of-N 验证器的选择增量与解题能力分离研究

Selecting or Solving? What Best-of-N Verification Delivers in Video Reasoning

AI 导读

针对长视频复杂问答任务,文章指出标准 Best-of-N 流程的头号指标混淆了验证器的选择增益与自身解题增益。研究在五个基准上测量了选择增量(SI),发现弱验证器主要依赖候选答案提升,而强验证器则能超越多数投票;同时揭示了部分弱验证器存在按选项列表位置而非视频内容选择的失败模式。代码已开源。

推荐理由

文章分离了验证器在 Best-of-N 流程中的选择增量与自身解题能力,揭示了弱验证器依赖候选答案而强验证器超越多数投票的规律。

来源:arXiv · 机器人与计算机视觉 · arxiv.org