跳到正文
Hugging Face Daily Papers·· 19 天前AI 评分54

混合电脑使用:通用智能体的统一程序化语义与视觉接口

Hybrid Computer Use: A Unified Programmatic, Semantic, and Visual Interface for General Agents

AI 导读

针对现有截图与鼠标键盘交互限制智能体能力的不足,本文提出混合电脑使用(HCU)框架,通过代码命令行、无障碍 API 和图形用户界面三种互补通道实现统一交互。该框架支持高效的无障碍交互并防止状态过时,配套技能引导智能体灵活选择与组合通道。在 OSWorld 2.0 基准测试中,该方法在所有对比系统中取得了最高的部分得分和二分类得分,显著提升了任务成功率与效率。

来源:Hugging Face Daily Papers · arxiv.org