跳到正文
11月17日周二
  1. arXiv · 机器人与计算机视觉47

    SciWorldBench:视频世界模型是否真正理解科学实验?

    SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。

11月13日周五
11月3日周二
  1. arXiv · 机器人与计算机视觉42

    LeRobot 0.6.1 LIBERO 仿真评测中验证配对测试状态身份的方法与局限

    针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。

11月1日周日
  1. Hugging Face Daily Papers75

    Is Your Long-Horizon Benchmark Really Deep? Measuring and Synthesizing Depth in Terminal Tasks

    该论文指出长视界终端任务评估中,现有方法用回合数衡量长度、LLM 标签衡量难度存在偏差。作者提出以工作量和深度(必须顺序执行的回合数)定义任务,审计发现合成数据多为增加工作量而非深度。提出的 DEPTH 基准包含 105 个高深度任务,现有六款模型均无法通过半数,但微调 Qwen3-8B 后在两个终端基准上表现提升。

10月28日周三
  1. The Robot Report75

    WorldOracle 评测基准:检验世界模型能否可靠预测真实执行

    WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。

10月27日周二
  1. arXiv · 机器人与计算机视觉63

    WorldArena 2.0:扩展具身世界模型的模态、功能与平台基准

    WorldArena 2.0 是一个扩展的基准,系统性地沿三个维度拓宽了具身世界模型评估:在模态上从纯视觉扩展到视听触觉多模态;在功能上超越策略评估与规划,将世界模型作为交互强化学习环境用于策略优化;在平台上从仅仿真器扩展到涵盖多种具身形态的仿真与现实设置。该基准遵循标准化协议,全面评估感知质量、交互效用和跨平台性能,为追踪具身世界模型的进展提供综合测试床。项目页面包含代码和演示。

10月25日周日
  1. Hugging Face Daily Papers38

    InteractiveWorld:首个可验证的人机闭环交互环境,揭示前沿 MLLM 在物理世界辅助任务中表现不足

    InteractiveWorld 是首个支持人机闭环交互的可验证环境,让 AI 助手指导人类代理独立行动并基于状态奖励评分。构建的 InteractiveBench 包含六类共 120 个多轮任务,实验显示即便最强的 Claude Fable 5.1 在长程引导与规划任务上成功率也仅分别达 20% 和 25%,表明当前 MLLM 尚无法可靠辅助人类完成物理工作。

10月22日周四
  1. Hugging Face Daily Papers73

    UserArena:用于长周期购物智能体的交互式用户模拟基准

    论文介绍 UserArena 基准,包含来自 1.1 万用户的 6.47 万条会话轨迹,覆盖 56.6 万商品与 13 种动作类型。该基准配备交互式环境并支持基于生产 A/B 测试结果的离线验证,可实现从输出有效性到最终结果的五级评估。作者还提出了 On-Policy Trajectory Distillation 方法以提升长周期交互的仿真保真度,实验表明其在复现生产策略效果方面表现最佳。

  2. Hugging Face Daily Papers78

    Dual Exam:多模态智能体与世界模型的受控评估

    Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。

    推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。

10月16日周五
  1. arXiv · 机器人与计算机视觉42

    WorldMemBench:视频世界模型记忆评测基准发布

    WorldMemBench 基准通过 260 个测试用例,系统评估视频世界模型的静态与动态记忆能力。该基准结合外观几何指标与事件特定评估,发现强静态保留并不意味可靠的动态状态演化。研究涵盖九款代表性模型及人类对齐验证,为构建持久且时间连贯的视频世界提供诊断工具。

10月15日周四
  1. Hugging Face Daily Papers78

    GlobeBench:评估可扩展环境仿真的文本世界模型能力

    该论文提出 GlobeBench 基准,包含跨五个领域的 1632 个任务,用于评估文本世界模型对 RL 环境状态转换的模拟能力。研究对比了 20 种通用大语言模型与专用文本世界模型,发现 GPT-6 Astra 在任务成功率上最高为 49.57%,但在涉及多对象依赖传播的任务中平均成功率仅 5.1%。基准采用混合架构结合确定性门控与语义判断器进行验证,并开源了代码与数据。

    推荐理由:GlobeBench 基准通过 1632 个任务评估文本世界模型的仿真能力,揭示 GPT-6 Astra 等模型在复杂环境响应预测上的局限。

10月6日周二
  1. arXiv · 机器人与计算机视觉67

    PROWBench:视频模型是否渲染了程序指定的内容?

    arXiv 论文介绍 PROWBench 基准,包含 170 个程序化构建的剧集和 600 个代理视频,涵盖多样场景与交互。该基准记录实体状态和时间戳事件(包括视野外),支持回放世界记录和同步多视角渲染(如粗粒度 3D、边界框)。基于这些记录,PROWBench 评估实体控制、长程记忆,并利用两个基于 VLM 的指标(逻辑 - 渲染对齐度与交互成功率)检验对规定时间线和引擎记录事件的视觉实现。

8月27日周四
  1. Google DeepMind42

    Google DeepMind 推出全球首个双盲 AI 评估,在加密环境中测试 Gemini Flash Lite 模型以消除基准污染

    Google DeepMind 联合新加坡 AI 安全研究所等伙伴,首次在加密“盒子”内对 Gemini Flash Lite 进行双盲评估,防止模型提前窥探考题。该方案通过引入密码学保障措施解决基准污染问题,确保业界能信任基准分数真实反映模型能力与安全性。