Hugging Face Daily Papers·· 24 天前精选AI 评分78
iPrefBench:面向个性化移动使用代理的用户中心基准
iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents
AI 导读
iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。
推荐理由
该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。
来源:Hugging Face Daily Papers · arxiv.org