Synthetic Realities:评估人类区分 AI 生成视频与真实影像的能力
该论文系统比较了未受训练观众在历史影像、影视内容及自然环境三种主题下,区分 Google Veo 3、Lightricks LTX Video 和 Wan VACE 生成的视频与真实影像的准确率。
该论文系统比较了未受训练观众在历史影像、影视内容及自然环境三种主题下,区分 Google Veo 3、Lightricks LTX Video 和 Wan VACE 生成的视频与真实影像的准确率。
针对乌尔都语纳斯塔利克手写体识别难题,研究在 UNHD 数据集上对 Tesseract、UTRNet-Large 及六款 VLM 进行零样本基准测试。结果显示两款商业模型错误率低于开源与印刷体专用模型,其中一款商业模型甚至拒绝转录极难图像而非猜测。此外,VLM 修正 OCR 输出的增益有限,仅当输入文本来自 UTRNet 时提升显著(17.9% 至 21.9%)。
研究提出“基准卡”并审计六个情境安全基准,发现仅凭图像尺寸即可以 82.3% 准确率泄露 MSSBench 的 SAFE/UNSAFE 标签。Spot-Stop 分解显示多数开源多模态大模型排名优于其标签评分,且共享阈值可修复部分偏差。该工作为物理 AI 领域评估模型在真实部署中的情境安全性提供了关键审计视角与修正方法。
针对向量化重置条件下终止时序差异导致初始状态不一致的问题,研究提出包含 I1-I5 不变量、溯源日志及自动检查器的评估完整性框架。受控实验显示同步控制下无 ID 错配,但异步冻结批次映射存在不匹配且机制未完全隔离。建议在进行配对统计前核查声明与解析的初始化状态身份及溯源信息。
该研究指出当前图像条件化视频模型的基准测试因仅关注标注区域(如路牌)而忽略了周边区域的文本伪造问题。实验显示,在东京街景参考数据上,主流模型在锚点处的文本保真度接近无模型控制组,但在非锚点区域有 36%-54% 的生成文本无对应参考且具备可读性,远超控制组的 1.6%。作者提供了代码、标注及预注册评分结果,证明现有指标无法有效追踪此类伪造现象。
AegisBench 填补了无人机搜救系统在平静日光基准与洪水、火灾等极端灾害夜视任务间的评估鸿沟。该基准对 HERIDAL 和 SARD 数据集施加九种物理扰动,测试 Faster R-CNN、YOLOv11 及 RT-DETR 共 168 种工况,揭示低光导致召回率归零且微调无法迁移至真实夜视图像。
针对 Word、PDF 等分页文档,研究提出以页面为索引单元的页级视觉文档检索(VDR)框架,涵盖独立项、证据集及迭代三种范式。分析显示当前 42 个基准多集中于页级独立检索,缺乏真实用户查询与分级相关性标注支持。文章提供基准选型指南并指出未来设计需对齐任务需求与评估协议。
针对真实世界图像编辑需协调多重视觉变换且聚合分数易掩盖局部失败的问题,作者提出 WeGenEditBench 基准(含 2,740 个实例和 148 种任务类型)及 WeGenEvoStudio 多智能体工具链。
推荐理由:提出 WeGenEditBench 基准与 WeGenEvoStudio 工具链,通过细粒度评估驱动图像编辑模型的递归自我进化。
该论文指出长视界终端任务评估中,现有方法用回合数衡量长度、LLM 标签衡量难度存在偏差。作者提出以工作量和深度(必须顺序执行的回合数)定义任务,审计发现合成数据多为增加工作量而非深度。提出的 DEPTH 基准包含 105 个高深度任务,现有六款模型均无法通过半数,但微调 Qwen3-8B 后在两个终端基准上表现提升。
该研究针对视频理解基准评测中因框架默认设置导致的评分方差大、部分样本缺乏视觉证据及全量评测成本高的问题,提出了 Meta-Video 基准和标准化评估协议。Meta-Video 是一个包含 1000 个问题和 791 个视频的平衡数据集,在保持模型排名稳定的同时,将全帧计数实验的推理速度提升了 5 倍。
研究对比了六款视觉语言模型(VLM)在图像文本匹配与千项候选检索中的表现,发现基于手工负样本的探测准确率为 85%,而面对其他模型错误结果时降至 77%。实验表明,通过探测任务无法预测模型能否从数千个选项中正确召回首项,且开源基准\svo{}因标签不完整导致分数偏低。该研究揭示了当前 VLMs 在细粒度理解与大规模检索能力间缺乏直接关联。
论文提出 RoboSeed 框架,旨在解决机器人动作模型选型中仅看成功率信息不足的问题。该框架从能力、下游训练成本、部署成本、本地验证研究价值及复现证据五个维度,利用固定归一化锚点将实证测量映射为 0-100 分档画像。
推荐理由:提出 RoboSeed 多维评估框架,从能力、资源成本及复现证据等维度量化 VLA 与 WAM 模型,为不同预算团队提供选型依据。
WorldProbe 是一个利用目标条件多模态智能体在线调整相机动作的诊断基准,包含 164 个测试用例。该基准对 10 种先进模型生成了超 1,600 次 rollout(总时长约 800 分钟、视界最长 180 秒),揭示了局部生成稳定但长程记忆与演化薄弱的差距。代码与基准资源已公开,旨在弥补现有评测忽视的持久世界一致性缺陷。
Jev 通过类型化查询原语实现高效决策,但跨原语一致性未被系统评估。该工作引入四轴基准 PrimaCons,发现所有 Jev 尺寸均存在一致性违规,且此类差异能以 0.91 的 ROC-AUC 预测决策失败。
该研究测试了针对单句图像描述的指标在密集多窗口视频描述上的表现,发现其无法反映人类判断。通过 196 个短片和 1,144 次整体及 4,672 次窗口的标注,证明 BLEU-4 等参考重叠指标无法区分被接受与拒绝的文本。研究揭示了阅读粒度对错误检测的影响,并提供了失败分类法、模型画像及代码以支持更细致的评估。
SpaceAct 是一个交互式基准,旨在解决多模态大语言模型(MLLMs)仅描述图像而非在三维空间解决问题的难题。该基准通过 SAPA(时空主动探测智能体框架),利用互锁积木和机械谜题构建测试环境,包含 108 个已验证实例,涵盖六个类别的 36 个任务家族。
该论文审计了 LOL-v1 和 LOLv2-Real 两个低光照图像增强标准基准,发现其测试集标签与训练集存在显著分布差异(如 LOLv2-Real 测试标签比训练暗 14%)。这种偏移导致依赖测试集调优的方法性能虚高,且移除官方发布的测试设置会改变方法排名。作者提供了具体的报告建议以区分可校准的偏差与仅靠测试集调优带来的增益。
针对单目视频易混淆的网球击球与落地事件,研究发布包含 345 个标注的基准及冻结预测数据。监督模型在广播画面表现完美但在手机视角 F1 仅 0.130,而 RallyArb 仲裁层在非广播视角保持 F1 超 0.8 并定位 8/11 次落地。所有标注、评估器及冻结预测均已开源,解决了多视角事件检测难题。
SoMark团队发布国产开源OCR模型OXR,参数量仅1.3B,在OmniDocBench、olmOCR-Bench和DocParsingBench三项全球榜单中均位列第一。
推荐理由:国产1.3B OXR模型在三项全球榜单登顶,利用RSI自进化范式解决文档解析难题。
上海 AI 实验室联合清华大学 AIR 及药学院推出 PFArena 专业蛋白质改造评测基准,基于 202 项真实实验数据,系统评估了蛋白质语言模型、通用大模型与科学智能体在候选生成、排序及实验信息利用上的能力。
推荐理由:PFArena 基准基于 202 项真实实验,系统评测了蛋白质改造任务中候选生成与排序能力,揭示了大模型在复杂突变组合下的局限及‘通专融合’的破局路径。
WorldOracle 是一个针对动作条件世界模型的评测基准,由普林斯顿大学、UT Austin、多伦多大学、NVIDIA 和 AgiBot 联合推出。该基准通过对比模型生成的预测视频与从相同初始观测出发、遵循相同动作序列的真实机器人执行结果(包括成功与失败案例),量化物理状态正确性、空间对齐度等指标。
无问芯穹(Infinigence AI)在NVIDIA Research推出的GPU算子性能评测榜单SOL-ExecBench上取得显著成绩,以88项单题第一位居所有参赛团队之首。
作者发布了 SQuID 基准数据集,包含 2000 个针对 587 张卫星图像的定量问题,涵盖从数建筑到测距离等任务。结果显示端到端 VLM 准确率仅 28.1%,而基于 LLM 编写几何程序的 QASR 基线达 42.0%;微调后模型可接近该水平。数据集公开了参考掩膜与训练对,支持相关团队评估与训练具备度量空间推理能力的系统。
uTHCD-C 基于无约束泰米尔手写字符数据库,定义了含笔触变细在内的十种腐蚀类型及五级严重程度。研究评估了九种卷积与 Transformer 架构,结果显示 ConvNeXt 和 Swin 在归一化平均腐蚀误差上分别达到 0.75 和 0.83,显著优于 ShuffleNet 等模型。该基准提供了标准化配置、评估协议及计算复杂度对比,为未来鲁棒且高效的泰米尔手写字符识别研究奠定可复现基础。
该研究指出当前 ScreenSpot-v2 等基准仅依据点击是否落在标注框内来评分存在缺陷,因为同一操作常由多个元素触发。作者提出以点击后的实际执行结果作为正确性判据,无需新标注即可生成结果地图与执行判决器。
论文提出 PRISM-BENCH 基准,包含 1,000 个专家 curated 问题及理想化推理轨迹,用于诊断视觉语言模型在 grounding 和 faithfulness 方面的表现。
IntReal 提出包含 IntReal-100K 真实世界数据集及评测套件,填补了多模态交错生成任务缺失与细粒度评估协议空白。该套件在七维能力上实现低指标冗余(最大成对 Spearman ρ≤0.42)且与人类判断高度一致(83.3% 准确率)。基准测试四大类统一多模态模型并验证了后训练策略的有效性,支持模态特定优化而非全程联合训练。
2026 年 1-8 月国内乘用车 ADAS 市场延续增长,空气悬架、激光雷达及前视摄像头赛道由孔辉科技、禾赛科技等本土企业主导。行车 ADAS 与自动泊车领域呈现车企自研扩容态势,比亚迪、华为技术份额领先;高精地图与定位则形成高德、导远科技“一超多强”格局。行业竞争正围绕 NOA 量产落地、行泊一体融合及全栈自研能力深度重构。
该论文对10个已发表的胸部X光(CXR)分类模型进行了回顾性评估,涵盖来自六个国家的12个数据集(7个公共基准和5个机构队列)。研究仅评估图像级分类任务,主要指标为95%灵敏度下的特异度。
FOCUS(Foundation Ophthalmic Cross-Dataset Understanding under Shift)是一个跨数据集评测基准,旨在解决单一数据集报告无法反映模型在数据分布偏移、临床定义差异及患者亚组间表现的问题。
推荐理由:FOCUS 基准统一评估了十种数据集上从纯视觉编码器到多模态大模型在视网膜影像分析中的泛化能力与校准表现。
OpenAI 于 2026 年 9 月发布 ChatGPT Images 2.5,宣称具备更精准的局部编辑和更好的一致性。该研究通过四个预设答案的伪造任务(票据字段篡改、重复编辑、产品放置和小字渲染)对 OpenAI 的宣称进行了评估。
论文指出开放词汇检测器的置信度分数在物体被严重遮挡时依然保持高位,该信号反映的是类别存在于场景中而非目标可见。研究对比了基于几何的真相真值,发现固定视角下检测器对 90% 的遮挡场景仍报告存在,而单次相机运动即可解决所有遮挡场景的定位问题。作者发布了基准并建议采用以目标为基准的信号来评估和门控机器人感知系统。
推荐理由:该研究揭示了目标检测置信度在遮挡场景下反映的是类别存在而非可见性,并提供了基准与几何真值用于重新评估机器人感知策略。
论文介绍了一种名为 LUMA 的轻量级、与骨干网络无关的掩码 Transformer 头部,将其作为黑盒特征提取器来统一评测不同骨干网络的图像分割性能。研究在 ADE20K、COCO 和 Cityscapes 数据集上固定该头部,对比了 20 个骨干网络和 11 种预训练方案。
WorldArena 2.0 是一个扩展的基准,系统性地沿三个维度拓宽了具身世界模型评估:在模态上从纯视觉扩展到视听触觉多模态;在功能上超越策略评估与规划,将世界模型作为交互强化学习环境用于策略优化;在平台上从仅仿真器扩展到涵盖多种具身形态的仿真与现实设置。该基准遵循标准化协议,全面评估感知质量、交互效用和跨平台性能,为追踪具身世界模型的进展提供综合测试床。项目页面包含代码和演示。
AIForge-Doc 是首个专门针对金融和表单文档中扩散模型 inpainting 篡改的基准,利用 Gemini 2.5 Flash Image 和 Ideogram v2 Edit 生成 4,061 张带像素级标注的伪造图像。
针对车载座舱环境中多模态模型性能未受充分探索的问题,作者提出 Automotive-ENV 交互式评测基准。该基准基于 Android Automotive OS,包含 420 个涵盖日常操作与安全关键场景的任务,通过可复现的验证器评估 UI 状态、车辆信号及安全条件。
作者提出了 Omni-InteractScope 基准,包含 1,479 条人工标注、跨评审的交互数据及 1,790 个时间目标。实验结果显示当前多模态大模型存在三大局限:工具调用的及时响应率最高仅 40%,无查询提醒的召回率不超过 23.0%,且仅有少数模型能覆盖完整的端到端引导序列。该基准涵盖了事件触发的工具调用、免查询协助及状态追踪等场景,旨在推动开发具备主动行动能力的流式助手。
DecoyCount 基准基于 1,660 张含诱饵的真实图像,揭示前沿模型计数准确率低于 50%,且存在 11.8-22.1 个百分点的对齐差距。研究发现更强的通用推理能力、更大的思考预算及智能体过程反而加剧该偏差。研究证实仅靠文本提示无法弥合人类视觉期望与模型输出间的剩余缺陷。
该研究在 CoRL 2026 SPAIS Workshop 上发布,发现当机器人视频片段显示进度落后时,添加一条声称“正在进步”的旁注日志行,可使 Gemini、Qwen 和 GPT 等 VLM 法官将正确判决翻转为“有进展”的比例增加 10 至 35 个百分点。仅一行警告日志可能出错即可消除大部分此类误导效应;选定的虚假“任务完成”声明能翻转 Qwen 半数正确判决,但对 Gemini 无影响。
该论文针对训练空间视觉语言模型时出现的‘接口锁定’现象,提出 ChronoReplay 方法。该方法通过将异质空间监督以时间顺序回放、保留原生目标并平衡不同类别的监督,在相同观测访问下同时提升了 OVO-S-Bench、OST-Bench 和 UCS-Bench 三项基准的性能,其中 OST-Bench 提升 13.41 分。
推荐理由:提出 ChronoReplay 方法解决空间 VLM 的接口锁定问题,通过时序回放异构监督提升多基准性能。