EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。
TableVista 是一个包含 3,000 个高质量问题、经渲染扩展为 30,000 个样本的多模态表格推理基准。研究对 29 种开源及专有基础模型进行评测,发现其在复杂结构布局和纯视觉设置下表现显著下降。该结果揭示了当前多模态模型在结合结构复杂度与视觉呈现时难以保持推理一致性的关键差距。
该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。
CogCanvas 基准包含 1952 张精选图像与 1361 个组合提示,涵盖 100 位名人、115 种物体及 29 个真实场景。该基准通过 BG-Sim 和 Attr-VQA 双指标评估背景保真度与属性绑定能力,揭示现有扩散模型在群体规模超过三人时出现近乎完全失效的退化现象。
针对自动驾驶中跨域差异、长尾类别和语义模糊等挑战,作者发布了 TS-1M 大规模全球多样化交通标志数据集(超百万张图像,454 个标准类别)及诊断性基准。研究对比了经典监督模型、自监督预训练模型和多模态视觉语言模型(VLMs),发现语义对齐是跨域泛化和稀有类别识别的关键因素,而纯视觉模型对外观变化和分布不平衡仍敏感。
作者提出 RTime-QA 基准,利用时间反转的视频对和相同文本但答案不同的问题,检验多模态大模型是否真正感知事件在时间上的展开。该基准包含 8,420 个问题,涵盖快速评估、核心难例及连续事件等子集。
推荐理由:该基准通过时间反转视频对,验证多模态大模型是否真正感知事件时序而非仅依赖单帧或语言先验。
作者发布 MInfoVisQA 基准,包含源自 128 个种子实例的 8,960 种问答配置,覆盖 24 种语言。该基准通过解耦数值结构数据与文本并程序化同步翻译标签,构建了种子匹配的平行视觉与问答对。
FVScore 通过编译显式命题与隐式约束,利用感知工具及线性时序逻辑算子对视频生成进行可解释性评估。在包含多事件的公开基准测试中,该框架在人类相关性上优于现有整体判断或智能体基线,并仅保留具有感知显著性的违规以校准报告。项目页面已提供,代码与权重许可状态待进一步确认。
该论文提出 M3-Test,一种将干净输入与其单模态变体及完整联合扰动族对齐的覆盖率审计框架。研究发现,尽管四个视觉语言模型通过了 40 个单模态测试,仍有 26% 至 29% 的 Qwen 问题在联合扰动下失败,且仅靠最大强度角点无法消除此缺口。该工具支持将现有鲁棒性套件转化为请求级未测试账户,辅助接受度审查与回归分析。
EgoLink 是 ACM Multimedia 2026 发布的基准,评估模型在第一人称视频中进行社交推理、解析视觉指代并将用户请求转化为工具介导动作的能力。
本文提出 GameReplica 基准,用于评估视觉语言代理在黑盒条件下复现网页游戏系统的能力。该基准包含 25 款游戏的 125 个实例,涵盖五种核心机制家族及五个难度等级。
该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。
推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。
针对现有多模态知识型视觉问答(MKB-VQA)基准普遍存在的‘视觉捷径’问题,作者构建了 RETINA 新基准和 MIMIR 多图像多模态检索器。该基准通过 LLM 驱动流程自动构建,包含 120k 训练集和 2k 人工 curated 测试集,专门引入次要主体(相关实体)的图文对以消除捷径依赖。
SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。
本文介绍 RAMP 框架,系统比较了直接 token logit、表面形式分数及不同接口下的多模态模型表现。研究在固定检查点下发现,输入方式(如打字与裸读)显著改变准确率,且配对转换揭示大量预测变化。作者通过独立离线回放验证了原始分数的可复现性,确立了答案读取作为评估关键组件的地位。
针对现有零样本单目度量深度模型评估依赖跨数据集平均分数的做法,本文指出其无法反映严重错误比例、偏差方向及共性失效图像。作者提出基于单图结果的评估框架,包含失效率(度量δ1<0.5)、结构对齐指标、尺度偏差与绝对误差等,并对比 11 种架构在 7 个日常场景基准集上的表现。
推荐理由:提出基于单图结果的深度模型评估框架,揭示日常场景中尺度误差仍是主要瓶颈。
论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。
推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。
该论文指出,在视觉基准测试中,强分类器无法识别的‘失败屏幕’往往包含大量标签错误的样本。研究基于 ImageNet 等数据集验证了这一现象,发现严格筛选下的错误率显著高于整体水平。作者提出了 ScreenAudit 工具,用于重建修正后的答案集并对基准进行逐图审计,相关代码与数据将在后续发布。
该报告披露了 UCF UrbanTwin V2X-Real Sim2Real LiDAR Challenge 的第三名技术方案,涵盖合成点云生成与三维目标检测。
推荐理由:报告披露了 UrbanTwin V2X-Real 赛道第三名方案的完整实现细节,涵盖合成点云生成与三维检测流程。
OpenCV AI Competition 2026 于 11 月 17 日周四上午 9 点(太平洋时间)举行获奖者直播颁奖。本届赛事共有超过 6300 名参赛者,创下历届最激烈竞争纪录,评委面临极具挑战性的评审任务。
NVIDIA Vera Rubin NVL72 平台在首次亮相的 MLPerf Training v6.1 训练中,交付了最快的训练时间,其 CUDA 软件栈已高度成熟。该架构专为应对日益复杂的 AI 智能体工作流而设计,显著缩短了模型与智能体的迭代周期。
UltraBench 2 是一个涵盖广泛解剖结构与任务的综合基准,旨在解决超声基础模型评估碎片化问题并提升标准化与可复现性。分析显示,专用预训练在分类任务仍领先,而通用大模型在分割任务上已追平最先进水平。该工作已被 ML4H 2026 会议接收,相关代码与数据将支持社区对超声影像基础模型的公平比较。
该论文回顾了第二届 LoViF 2026 挑战赛,旨在推进涵盖模糊、低光照、雾霾、雨雪等多种退化条件的统一图像复原技术。比赛吸引了 158 名注册参与者,最终有 20 个团队的结果被成功复现并纳入排名。报告对提交的解决方案进行了综合分析,揭示了有效的策略设计,并为未来真实世界低级视觉研究建立了更新的基准。
该论文评估了 73 种手工设计、学习型、视觉 - 语言及通用图像质量指标在水下场景中对齐人类偏好的程度,发现没有任何一种指标能始终匹配人类判断。研究通过四项基准(四组已发表意见评分集与一项新配对比较研究)测试指标一致性,并验证了简单编辑和对抗扰动是否会导致指标分数虚高、生成噪声累积时分数下降不足等问题。
KnowVis 提出双视图评估框架,诊断文生图模型的世界知识 grounding 缺陷。该协议结合技能树与通用基准,利用结构化 MLLM 评测器验证原子知识与开放表达,在 NeurIPS 2026 E&D Track 接收并开源代码库以支持可扩展诊断。
该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。
推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。
论文介绍了一种从严重性策略出发开发文档解析指标的方法,通过测试场景定义指标行为并利用代码智能体优化实现。作者构建了 ParseBench-2 基准,涵盖文本、格式、表格等六个维度及 4,317 页数据,结合内容恢复分数与严重性上限来评估模型。
UniPat AI 牵头推出 Science Prediction Universe(SPU)基准,联合十余家顶尖高校与科研机构,涵盖化学、材料、生物和医学等 32 个子领域共 4207 个任务。
推荐理由:SPU 基准发布,揭示当前模型在湿实验预测上表现有限且算力投入未必提升效果,为 AI4S 提供统一评估标准。
量子位报道了Latent Space对国产开源模型Naive-N0.5-Flash的实测结果,该模型在综合表现上介于DeepSeek V4.1 Flash与GLM 5.3 Flash之间。
该研究引入包含 PlotQA、CLEVR 和 GQA 共 3,000 组问题的基准,要求模型在证据充分时作答、不足时弃权。基于六种配置共 72,000 次响应测试显示,最佳配置在图表任务上完全问题成功率为 57.0%,个体图像正确决策率达 96.2%。评估揭示单纯按图决策准确率会掩盖需同时满足回答与弃权的整体失败风险。
作者提出 MM-SCALE 基准,包含 8,444 个图像上下文和 21,977 个行动场景,要求模型在共享视觉背景下比较不同行动的道德评分并 grounding 理由。结果显示当前 VLM 的 NDCG@5 虚高而内部排序准确率低,且常忽视视觉证据的关键性,揭示了现有模型的证据 grounding 失效问题。
作者发布 Visual Cipher Bench 基准,包含 40 个仅需黑白线稿和最少指令的视觉谜题,涵盖空间操作、逻辑约束等四类任务。实验显示,在八种前沿模型中,最强模型 GPT-6 Astra (max) 准确率仅 26.7%,多数低于 1%;而提供单一非剧透提示后,十项子任务的准确率从 7.8% 提升至 55.6%。
DashBench 基准测试了 25 个视频大语言模型在涵盖碰撞及非碰撞类共 1709 条精心筛选的驾驶视频上的表现。结果显示所有被评估模型均远低于安全关键应用所需阈值,常误判危险事件或产生幻觉。该基准结合严格评测工具与详细诊断报告,旨在推动更安全、可解释的自动驾驶系统发展。代码和数据将在指定链接共享。
研究在 Raspberry Pi 5 上对 RTAB-Map 和 ORB-SLAM3 进行六序列基准测试,发现全分辨率下前者耗时 150-462ms、后者为 26-62ms。RTAB-Map 因无界内存优化位姿图导致成本高,而 ORB-SLAM3 局部束调整在并行线程中运行。四分之一分辨率时两者多数序列丢失跟踪,轨迹误差波动达 27%,精度差异尚无定论且未发生热节流。
本文介绍 DesignTaste 基准,利用 Beste Plakate 2025 和 ADC 2026 的获奖作品及背景信息构建 403 个设计简报。六款主流商业文生图模型针对同一简报生成图像,并由单一模型裁判在五个维度独立评分。结果显示仅 ArtArk 的平均总分高于获奖作品,所有模型在创意原创性维度得分均低于获奖作品,表明生成美观图像不等于具备优秀设计方案能力。
RipBench 是一个统一基准,支持在海滩安全场景下对海啸流进行多任务评估。该基准涵盖 $304$ 个视频(含 $51,011$ 帧标注数据),在相同数据集上实现了从分类到实例分割的多级视觉抽象对比。
该研究指出自动评测分数是生成器、提示分布、验证器及评分规则的共同属性而非仅由生成器决定。作者在结构计数任务上构建了验证器中心审计套件,涵盖手机、椅子等物体及三叶草叶片等子结构,在 Qwen-Image-2512 和 FLUX.2-dev 生成的 6,240 张图像上进行测试。
该论文介绍了 RSLiveBench-UAV,这是一个基于真实无人机图像持续采集、采用几何辅助关联实体身份并延迟披露答案的视觉语言基准。研究在十个场景下评估了 30 个通用、遥感及具身模型,涵盖 17 项任务,发现所有测试的具身模型均优于选定的遥感对比器,但细粒度车辆识别仍具挑战且性能随高度和相机俯仰角变化。
推荐理由:引入持续进化的无人机视觉语言基准,通过几何辅助关联实体与延迟披露答案来支持对空域智能模型的持续评估。
该论文引入 Reality Perception Gap (RPG) 基准,包含 10,000 个经过跨平台重传压缩及带有相机光学伪影的视频,涵盖犯罪与战争等高风险内容。测试显示,在 1% 误报率下,现有 18 种检测器无一能捕获超过 15% 的伪造视频。研究通过正对照和重编码扫描发现,生成器与内容的偏移导致性能下降,而重传压缩则抹去了基于伪迹的检测所依赖的低级痕迹,表明被动检测可能已达极限。
推荐理由:该研究揭示了现有 AI 视频检测器在真实部署环境下的失效机制,指出被动检测已达极限并建议结合多模态证据。
论文指出跨域视频深度伪造检测中,表达性路由和特征融合的增益多为评估泄露所致。通过 2x2 折叠审计发现,在诚实家庭保留下所有显著增益消失;但在尾部硬样本上,全局校准融合(InvB)将多专家误分类视频比例从 15.2% 降至 2.3%,且在最坏家族 AUC、选择性风险和低假阳性召回率上稳定优于单一专家。建议从业者进行全局校准与组合,并保留完整数据集家族进行评估。