arXiv · 机器人与计算机视觉· Mahsa Mohammadi, Sareh Rowlands·· 2026-10-06精选AI 评分78
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
Are We Measuring Anticipation? Auditing Privileged Information in Procedural Video Evaluation
AI 导读
本文针对程序化视频预测评估协议提出审计,发现即使协议保持时序因果且无经典目标泄露,仍可能通过提供特权中间表示导致能力宣称与实测构造不匹配。在 Breakfast 数据集上,使用识别器历史与真值历史的得分分别为 30.3% 和 62.3%,存在显著差距。研究通过固定检查点干预、无视频来源探测及边界无关查询控制等实验量化了这一特权信息差距,并提出了可复用的四条件审计框架以支持更可靠的评估。
推荐理由
该研究通过审计发现,现有视频预测基准因泄露中间表示而高估模型能力,并提出了可复用的四条件审计框架以验证评估有效性。
来源:arXiv · 机器人与计算机视觉 · arxiv.org