Sophon:一种用于检验视觉语言模型空间推理能力的程序化诊断工具
本文介绍并开源了 Sophon,这是一种基于成对彩色点云刺激的程序化诊断工具,涵盖一维线性、二维笛卡尔和极坐标三种坐标系及四种问题类型。研究发现在剥离先验知识后,主流开源 VLM 在空间基准测试上表现接近随机猜测,而前沿模型和人类则能保持较高准确率。
推荐理由:该工作开源了针对 VLM 空间推理能力的程序化诊断工具,并揭示模型存在路由瓶颈而非能力缺失。
本文介绍并开源了 Sophon,这是一种基于成对彩色点云刺激的程序化诊断工具,涵盖一维线性、二维笛卡尔和极坐标三种坐标系及四种问题类型。研究发现在剥离先验知识后,主流开源 VLM 在空间基准测试上表现接近随机猜测,而前沿模型和人类则能保持较高准确率。
推荐理由:该工作开源了针对 VLM 空间推理能力的程序化诊断工具,并揭示模型存在路由瓶颈而非能力缺失。
论文分析了多智能体语言模型的评估实践,发现现有比较常将通信架构优势与样本多重性及推理计算混淆。研究合成九项包含 516 种配置的实证评估显示,在与基线匹配样本数或资源预算的可比对比中,多智能体系统平均准确率低于基线。
WebArena-Pro 是一个包含 300 个任务的基准测试,覆盖 20 个自托管 Web 应用及六类领域,支持文本、视觉、音频和视频四种核心模态。该基准在 NeurIPS 2026 E&D Track 被接收,旨在解决现有基准覆盖面窄、不可复现或缺乏音视频评估的问题。
Hugging Face Daily Papers 转述了 MMDM 基准的发布,该基准包含 5,448 个高质量问题,覆盖 16 类任务及从单选到软标签的多选场景。
该研究对比了 Thyme 和 DeepEyesV2 两个多模态智能体在有工具与无工具设置下的表现,发现工具调用并未显著降低生成 token 成本或提升整体解决率。消融实验表明,仅凭工具调用痕迹无法证明模型真正利用了工具提供的关键信息,建议评估时区分工具可用性与实际能力扩展。
推荐理由:研究发现工具调用痕迹并不等同于能力增益,多数模型在有无工具下表现差异不大。
论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。
推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。
针对基础模型控制机器人存在的安全风险,作者提出了 RoboRisk 综合安全评估基准和 LEASH(Lease-Enforced Agentic Safety Harness)框架。
针对细粒度视觉感知难以标注的问题,该方法利用大模型在放大后能识别细节的特性,构建从全图提问、仅靠局部信息验证的数据管道。由此建立包含 1000 题的双语基准 ZoomGainBench,28 个 VLM 最佳得分仅 61.08。基于该数据微调后的 9B 模型在多项感知基准上超越数百亿参数模型,HR-Bench 4K 得分为 90.25。代码与数据已开源。
针对 AI 生成图像检测器在真实数据上性能下降的问题,本文提出 BIAS-ID 透明化框架用于分析和量化检测器中的变换偏差。研究区分了偏差与鲁棒性缺失,并通过六个检测器和两个数据集的评估发现,部分最先进方法受常见处理相关偏见影响显著。作者提供了易于使用的库和代码以复现结果。
推荐理由:提出 BIAS-ID 框架以量化检测器中的变换偏差,揭示现有方法受数据处理偏见影响严重。
CurveBench 是一个针对视觉拓扑推理的基准,包含 756 张手绘闭合曲线图像及人工验证的参考树。Gemini 3.1 Pro 在简单与困难任务上分别达到 71.1% 和 28.7% 精确匹配准确率。Qwen3-VL-8B 经强化学习微调后,在简单任务准确率达 31.7%,较基线提升显著。该基准已作为海报被 NeurIPS 2026 接收并公开评测协议与结果。
针对文本生成图像模型在组合提示上的局限,本文提出 SANEval 基准,包含约 5250 个提示词配对图像的数据集及模块化评测管线。该管线结合 LLM 解析器、开放词汇检测器与属性/空间/数量评分器,经人工验证显示其相关性优于现有 CompBench++ 和 GenEval。数据集与代码已开源,论文已被 NeurIPS 2026 接收。
ChartHal 提出一个包含 1,062 个样本的人类验证数据集,用于细粒度分类图表理解中的幻觉场景。评估显示 GPT-5 和 o4-mini 等先进模型的准确率仅为 34.46% 和 22.79%,且对缺失或矛盾信息极为敏感。该基准已接受 AACL-IJCNLP 2026 Findings,代码与数据公开可用。
本文介绍 EditJudge-Bench,这是一个包含 1,382 对由 Blender 渲染的合成前后图像的基准数据集,其编辑操作参数化且拥有来自已知 3D 场景参数的精确真值。
推荐理由:该基准通过 Blender 合成数据构建带精确真值的编辑对,解决了真实图像缺乏受控真值的问题,能独立评估 VLM 裁判的可靠性与失败模式。
HumanSightBench 包含 2876 道涵盖 7 大类及 21 子类的视觉问题,经五重筛选确保人类易解而模型难答。八款 MLLMs 最佳 pass@3 得分为 65.6%,计数任务无一超过 27.5%。该基准揭示被总分掩盖的能力缺口,助力未来训练与留一验证实验。
该研究指出当前视频问答基准因依赖多选项引导和语言先验而难以隔离模型的真实感知能力。作者发现即便无视觉输入,准确率也显著高于随机猜测,这源于捷径策略与选项利用。为此,团队提出一种新的选项延迟重放(ODR)机制,在开放-ended轨迹中分阶段披露选项,以从忠实推理中获得客观的多选项分数。
Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。
推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。
伽马智能联合中国电信孵化的TeleAI及宇树推出LocoManiLab,这是面向人形机器人移动操作的统一测评框架。该平台覆盖五类家庭空间、13个场景实例和234项任务,以宇树G1人和Dex3灵巧手为测试本体,拆解策略模型与全身控制器两个层面进行综合评测。
EGOSTREAM 是一个用于评估第一人称视觉中连续情节记忆的流式基准测试工具。该基准包含 2,250 个精心策划的问题,覆盖细节、空间、时间、事件、社会、因果及前瞻性记忆七个认知维度,并引入答案有效时间窗(AVW)机制以区分模型遗忘与世界状态变化。
推荐理由:该基准通过引入答案有效时间窗和统一流式多模态框架,揭示了当前记忆管理策略在细粒度细节与长时回忆上的显著差异。
BEiTScore++ 提出一种结合 BEiT-3 与校准分位回归的不确定性感知图像描述评估指标,在保持排名相关性的同时提供更紧密跟踪预测误差的置信区间。该工具能在图像退化或跨域艺术图场景下自动增大不确定性估计,为真实部署中的图像 - 描述对齐评估提供实用支持。
AtariBench 基准测试针对 20 款雅达利 2600 游戏,揭示当前顶尖视觉语言模型(VLM)在动态环境中存在感知物体运动困难、序列决策脆弱及过度依赖文本历史等局限。
四款中大型SUV在储物空间上,iCAR V27表现最佳可容纳所有测试物品,而大众揽境和iCAR V27后备厢两项数据超越同级别均值。视野方面,奕派M8前方盲区最近仅2.653m且内后视镜距离最短为6.715m,但iCAR V27内后视镜距离达27.297m垫底。驻车辅助上,大众揽境前雷达探测最远1.165m,奕派M8后雷达最远1.359m,且前三者配备透明底盘或540度影像。
车质网对行驶里程不超过 5000 公里的 2026 款小鹏 G9L 进行客观数据与主观感受测试。实测整车漆膜平均厚度约 98.8μm、车内甲醛含量为 0.01mg/m³,综合表现在同级别车型中处于上游水平。
TB-MathModel 是首个将完整竞赛式数学建模问题转化为可代理、可验证及终端化执行的基准,覆盖 2023-2025 年共 18 道 CUMCM 和 MCM 真题。
盖世汽车研究院数据显示,2026 年 1-9 月国内乘用车激光雷达市场集中度较高,禾赛科技、华为技术、速腾聚创与图达通前四家合计占据 95.9% 市场份额。其中本土供应商(禾赛、速腾聚创、图达通)装机量总和占绝对主导,传统 Tier 1 份额显著收缩。行车 ADAS 领域则呈现比亚迪自研领跑、博世电装等传统巨头紧随其后的多元竞争格局。
nuReasoning 是一个大规模真实世界数据集和基准,包含来自多个城市的 20,000 个 20 秒片段,配备同步多相机图像、LiDAR 数据、HD 地图、物体标注及人工验证的空间、决策和反事实推理标注。
该研究审计了基于 MIMIC-CXR 数据集的多模态分类基准,发现记录级分割存在严重的标签泄露问题:约三分之一影像的标签与其入院诊断代码不匹配。在患者分离且对齐标签的评估下,各类不平衡策略未提升性能,树集成与逻辑回归无显著差异,预训练编码器也未带来统计显著的增益。作者提供了可复用的诊断工具、泄露感知协议及检查清单。
Trick-or-Treat 框架利用合成临床照片与真实胸部 X 光片配对,构建暴露前沿模型跨模态推理幻觉的对抗性基准。在三项前沿模型的测试中,面对不匹配图像对时,模型产生显著临床意义的照片幻觉比例从单独展示时的 25-37.5% 升至 45-57.5%,且倾向于忽略错位而根据 X 光片特征误诊。
针对 CARLA 封闭回路基准仅依赖违规罚分无法区分停止与推挤障碍行为的局限,本文提出失败边界轮廓方法,通过改变走廊宽度或车流时间差等因子并认证每个变体应通行或停止,估算代理的承诺度与能力曲线。该方法在七个驾驶代理和 Isaac Sim 仓库机器人上评估显示,规则专家决策准确率为 0.74,而得分最高的学习代理仅为 0.60,揭示了高分策略在不同失败模式下的差异。代码与数据已公开。
推荐理由:提出失败边界轮廓方法,通过认证标签区分不同导航策略在闭环评测中的决策准确性与行为差异。
论文介绍 MESA 评估框架,旨在解决现有基准狭窄或过于宽泛的问题,实现对语言条件策略泛化能力的精确测量。该框架包含五个评测套件,隔离分布内性能并针对空间配置、物体实例、物体类别和子任务组合四个泛化轴进行诊断。
论文提出了 Bio-VQA,这是首个涵盖分类学推理、细粒度属性定位、定量空间推理及个体重识别四大维度的生物视觉问答基准。该基准包含 1.86M 个问题与 217K 张图像,评估了 3.75B 至 38.4B 参数的 18 个开源模型。结果显示通用视觉能力无法有效迁移到生物领域:动物计数准确率仅为日常物体的不到一半,分类学精度随层级细化大幅下降,且在个体重识别任务中多数模型表现低于随机猜测水平。
HumanScore 提出评估生成视频中人体动作质量的系统框架,定义运动学合理性等六项可解释指标。该基准通过提示词激发多样化动作,对十三种最先进模型进行评测,揭示感知逼真度与生物力学保真度的差距并识别时序抖动等失效模式,产出基于物理意义的鲁棒排名。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
作者提出 LoopQ 基准,在相同检查点、层和引擎下对比 RTN、AWQ、GPTQ 等四种量化策略。基于 LIBERO 数据集超过 180,000 个回合的测试显示,通用 PTQ 方法在低比特(4 bit)下表现优于或持平于专用方法;标准 LIBERO 掩盖了损失,配对扰动下无显著损失的配置仍会丢失 1.5-4.3 分。
该论文通过包含 505 名参与者的在线大规模实验,评估了一代 Chiasm 网络摄像头眼动追踪器在多样化设备与条件下的性能。结果显示,满足校准标准的参与者平均空间精度为 2.15 cm(60 cm 距离),且头部运动后精度下降有限。
RSPDBench 是一个基于物理的遥感产品退化基准,用于评估视觉基础模型在包含空间、辐射、配准等缺陷的真实地球观测产品上的表现。该基准遵循 Sentinel-2 和 Landsat 8 规范,对七个基础模型及两个监督基线进行了测试,发现分辨率编码器和辐射增益的敏感性结构不同,且复合退化会导致性能大幅下降。
DiffCap-Bench 是一个涵盖十类差异的新颖基准,通过人类验证的差异列表和 LLM-as-a-Judge 协议评估多模态大模型在细粒度变化感知上的表现。实验揭示专有模型与开源模型存在显著性能差距,并指出推理能力对捕捉视觉变化的关键作用及模型扩展的局限。该基准代码将公开以支持后续研究,其结果与下游图像编辑数据构建质量高度相关。
针对多模态模型遗忘(Machine Unlearning)缺乏有效评估的问题,本研究提出有效性门控审计(VGUA),通过检查数据泄露、评分器正确性与代码实现来验证评估管道。
该研究复现了八个同行评审多模态基准在五个开放视觉语言模型上的官方评分器,发现仅凭评分规则即可使相同输出的准确率波动高达22个百分点。作者引入盲审人机联合裁决(Cohen's kappa=0.956)以还原模型真实回答,指出当前单一评分标准不可靠:非合规输出会被错误匹配、弃权会丢弃有效文本答案、似然度评分混淆能力与运气。
现有 GUI 基准多依赖精确指令,而真实场景中用户指令往往模糊且依赖历史。本文介绍 MemU-Bench 基准,包含 118 个基于 29 条长轨迹的模糊任务,要求智能体从噪声交互流中提炼记忆并检索缺失上下文。
针对现有端到端自动驾驶基准主要评估轨迹质量而忽视上下文依赖决策的问题,本文提出了 PlanContext 基准。该基准通过在 NAVSIM 数据集上构建配对评估,固定观测场景并变化高层驾驶意图,定义了六种典型驾驶上下文,联合评估了上下文决策正确性、道路合规性和动态安全性。
推荐理由:该基准通过固定场景改变高层意图,揭示了传统轨迹指标无法捕捉的上下文决策差异。