跳到正文
Hugging Face Daily Papers·· 24 天前精选AI 评分78

iPrefBench:面向个性化移动使用代理的用户中心基准

iPrefBench: A User-Centric Benchmark for Personalized Mobile Use Agents

AI 导读

iPrefBench 是一个用于评估个性化移动使用代理推断和询问能力的基准,运行在包含交互式模拟用户的可执行 iOS 环境中。该基准基于拥有 3,051 次历史活动事件的连贯人设,涵盖 26 个应用中的 130 项未明确定义的用户任务。

推荐理由

该基准在模拟 iOS 环境中评估个性化代理的推断与询问能力,揭示了执行得分高但任务成功率低且难以获取用户必要信息的差距。

来源:Hugging Face Daily Papers · arxiv.org