Dual Exam:多模态智能体与世界模型的受控评估
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。
推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。