跳到正文
Hugging Face Daily Papers·· 18 天前AI 评分75

Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks

Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks

AI 导读

该论文指出长视界终端任务评估中,现有方法用回合数衡量长度、LLM 标签衡量难度存在偏差。作者提出以工作量和深度(必须顺序执行的回合数)定义任务,审计发现合成数据多为增加工作量而非深度。提出的 DEPTH 基准包含 105 个高深度任务,现有六款模型均无法通过半数,但微调 Qwen3-8B 后在两个终端基准上表现提升。

来源:Hugging Face Daily Papers · arxiv.org