RoboSeed:VLA 与世界动作模型的多维评估框架
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
内容形态
保留任务、样本量、基线、硬件和仿真或实机条件的评测。
45 条精选近 30 天 33 条共收录 218 条
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
SoMark团队发布国产开源OCR模型OXR,参数量仅1.3B,在OmniDocBench、olmOCR-Bench和DocParsingBench三项全球榜单中均位列第一。
推荐理由:国产1.3B OXR模型在三项全球榜单登顶,利用RSI自进化范式解决文档解析难题。
上海 AI 实验室联合清华大学 AIR 及药学院推出 PFArena 专业蛋白质改造评测基准,基于 202 项真实实验数据,系统评估了蛋白质语言模型、通用大模型与科学智能体在候选生成、排序及实验信息利用上的能力。
推荐理由:PFArena 基准基于 202 项真实实验,系统评测了蛋白质改造任务中候选生成与排序能力,揭示了大模型在复杂突变组合下的局限及‘通专融合’的破局路径。
FOCUS(Foundation Ophthalmic Cross-Dataset Understanding under Shift)是一个跨数据集评测基准,旨在解决单一数据集报告无法反映模型在数据分布偏移、临床定义差异及患者亚组间表现的问题。
推荐理由:FOCUS 基准统一评估了十种数据集上从纯视觉编码器到多模态大模型在视网膜影像分析中的泛化能力与校准表现。
论文指出开放词汇检测器的置信度分数在物体被严重遮挡时依然保持高位,该信号反映的是类别存在于场景中而非目标可见。研究对比了基于几何的真相真值,发现固定视角下检测器对 90% 的遮挡场景仍报告存在,而单次相机运动即可解决所有遮挡场景的定位问题。作者发布了基准并建议采用以目标为基准的信号来评估和门控机器人感知系统。
推荐理由:该研究揭示了目标检测置信度在遮挡场景下反映的是类别存在而非可见性,并提供了基准与几何真值用于重新评估机器人感知策略。
该论文针对训练空间视觉语言模型时出现的‘接口锁定’现象,提出 ChronoReplay 方法。该方法通过将异质空间监督以时间顺序回放、保留原生目标并平衡不同类别的监督,在相同观测访问下同时提升了 OVO-S-Bench、OST-Bench 和 UCS-Bench 三项基准的性能,其中 OST-Bench 提升 13.41 分。
推荐理由:提出 ChronoReplay 方法解决空间 VLM 的接口锁定问题,通过时序回放异构监督提升多基准性能。
VERA-Hand 是一个针对 2D 手姿态估计的多维验证基准,包含对 10,690 个手部实例的人工验证标注。该基准从检测、定位、识别及时序稳定性四个维度评估模型,并引入联合 Pose-F1 指标要求同时满足正确检测与精准定位。
推荐理由:该基准通过人工验证标注和多维指标,揭示了现有手姿态估计器在漏检、身份混淆及时序稳定性上的局限。
RVL-CDIP 作为文档分类事实标准基准,其报告准确率已达 98.8%。本研究对其进行系统性审计,发现约 10.5% 的 40 万份文档存在错误标签,35.2% 的测试集样本在训练集中有重复或近似副本。
推荐理由:该研究对 RVL-CDIP 基准进行系统性审计,发现标签错误、测试集污染及敏感数据问题并公开修正版。
RiskCueBench 是一个新的视频理解基准,旨在评估视频语言模型从早期视觉信号中预测未来风险事件的能力。现有数据集常包含事故本身导致任务过易,而该基准通过标注最早的风险信号片段来模拟真实世界条件。实验结果显示当前系统在此类前瞻性推理上存在显著差距,突显了部署此类模型的挑战。材料为预印本版本,未提及同行评审状态或具体开源许可细节。
推荐理由:该基准通过标注早期风险信号片段,揭示了现有视频模型在从早期视觉线索预测未来风险事件方面的显著能力差距。
针对现有智能体评估成本高且碎片化的问题,研究团队构建了 AgentVQA 离线基准,涵盖 Web、机器人、第一人称视频、游戏和空间规划五类场景。该基准从 23 个源数据集人工筛选出 1000 个挑战性实例,其模型排名与在线评测结果一致。
推荐理由:该基准通过人工筛选构建跨五类智能体场景的离线评测集,揭示了模型在视觉状态维持与空间推理上的主要瓶颈。
Hugging Face Daily Papers 收录了一篇题为《Dual Exam: Controlled Evaluation of Multimodal Agents and World Models》的论文,作者来自上海 AI 实验室等机构。
推荐理由:该工作提出 Dual Exam 框架,分别在固定环境响应和动作干预下评估多模态智能体与世界模型的解耦性能。
针对机器人操作领域能力宣称难以验证且现有排行榜封闭或可操纵的问题,本文提出 HATCH 基准。该基准是一个公开指定、物理可复现、传感器评分且无法排练的机器人密室系统。任务涵盖五个技能类别的三个难度等级,并通过传感器确认形成长周期评估链。成功由仪器而非人工判断,评分与具体载体无关,物体摆放随机化。提交需包含未剪辑视频、日志和种子文件。相关规范、构建指南及评分标准已开源。
推荐理由:提出 HATCH 机器人密室基准,通过硬件验证的任务链与传感器评分解决操作能力宣称不可验证问题。
该研究指出在长视觉文档中,事实常以图表重述或摘要复现等形式多次出现,导致基于单一黄金位置的评估失效。作者标注了 MMLongBench-Doc 和 MMDocRAG 基准中的 420 个问题及其独立证据位置,发现跨模态复制普遍存在且会显著低估检索召回率与引用准确性。研究提供了冗余感知指标与数据,以修正现有评测偏差。
推荐理由:作者标注了长文档中跨模态冗余证据,揭示单金标准低估召回与引用准确率,并开源相关指标。
针对城市人行道导航中复杂结构与动态行人行为带来的挑战,本文提出 SidewalkBench 基准。该基准基于 NVIDIA Isaac Sim 构建,包含程序化生成与真实扫描的高保真场景,并集成了丰富的反应式行人事件与高效动画系统。
推荐理由:SidewalkBench 基于 Isaac Sim 构建高保真城市人行道仿真环境,对 9 个视觉导航模型在行人交互与长程任务上的表现进行量化评估。
STRIDE 是一个面向自动驾驶长尾安全场景的物体中心基准,涵盖空间感知、时间记忆与轨迹预测等六类任务。该基准在十二个模型上测试发现,即使表现最好的 GPT-6-Astra 在多选题准确率也仅为 43.4%,且描述场景的能力无法转化为准确的安全判断,模型更难以重构物体运动而非回忆过去位置。
推荐理由:该基准通过多任务评估揭示现有模型在时空推理上的短板,指出描述能力与安全判断能力的脱节。
优必选发布自研具身世界模型 Thinker-WM,在 WorldOlympiad、EWMBench 和 WorldArena1.0 Track-1 三大公认基准评测中均位列第一。
推荐理由:优必选推出 Thinker-WM,在三大世界模型基准中均获第一,提供统一多模态表征架构与开源入口。
论文介绍 LIBERO-CTRL 六轴基准,通过配对每个初始状态下的单轴条件与匹配的同时发生条件,揭示仅靠聚合成功率无法区分的两种对立结果变化:所有单轴成功但联合失败(涌现失效),以及至少一个单轴失败但联合成功(补偿成功)。研究显示在六种策略和三种严重程度下,最多 29.0% 的匹配初始状态会出现结果变化,复合鲁棒性不能仅由单轴成功率表征。
推荐理由:引入 LIBERO-CTRL 六轴基准,揭示单轴评估无法捕捉的联合扰动失效与补偿成功现象。
论文指出 Bench2Drive 基于 CARLA 的闭环评估协议存在严重缺陷:其舒适度指标因实现错误和奖励静止的策略,导致评分与实际驾驶表现相关性极低;导航信号供给机制也存在控制器替换转向及训练/测试目标点不一致的问题。作者通过实验验证了这些陷阱对 UniAD 等模型的影响,并发布了独立的修正代码,允许在不重新运行仿真复现的情况下获取更准确的舒适度分数。
推荐理由:原文指出 Bench2Drive 闭环评估协议存在指标实现错误与导航信号供给缺陷,导致评分失真,并提供了修正后的距离基线代码。
论文提出了 HM3D-M3 基准,旨在解决现有研究将多智能体、多模态与多目标导航割裂的问题。该基准在一个光真实室内场景中,让 K 个机器人团队从分布位置出发,搜索由类别名、实例图片或口语描述指定的 M 个无序目标。
推荐理由:该基准填补了多智能体、多模态与多目标导航同时存在的空白,提供了千集验证数据及两个基线方法。
针对现有视觉基准类别覆盖窄、任务构建不严的问题,作者提出了 VisualWorldBench。该基准基于包含 21,291 个叶节点的层级分类体系,涵盖 8 个视觉领域,构建了 32,541 个评估实例。
推荐理由:该基准通过细粒度分类与多任务设计,揭示了现有模型在视觉世界知识上的能力缺口。