RTime-QA:一种用于多模态大模型原子级时序事件理解的基准
作者提出 RTime-QA 基准,利用时间反转的视频对和相同文本但答案不同的问题,检验多模态大模型是否真正感知事件在时间上的展开。该基准包含 8,420 个问题,涵盖快速评估、核心难例及连续事件等子集。
推荐理由:该基准通过时间反转视频对,验证多模态大模型是否真正感知事件时序而非仅依赖单帧或语言先验。
内容形态
保留任务、样本量、基线、硬件和仿真或实机条件的评测。
45 条精选近 30 天 33 条共收录 218 条
作者提出 RTime-QA 基准,利用时间反转的视频对和相同文本但答案不同的问题,检验多模态大模型是否真正感知事件在时间上的展开。该基准包含 8,420 个问题,涵盖快速评估、核心难例及连续事件等子集。
推荐理由:该基准通过时间反转视频对,验证多模态大模型是否真正感知事件时序而非仅依赖单帧或语言先验。
该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。
推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。
针对现有零样本单目度量深度模型评估依赖跨数据集平均分数的做法,本文指出其无法反映严重错误比例、偏差方向及共性失效图像。作者提出基于单图结果的评估框架,包含失效率(度量δ1<0.5)、结构对齐指标、尺度偏差与绝对误差等,并对比 11 种架构在 7 个日常场景基准集上的表现。
推荐理由:提出基于单图结果的深度模型评估框架,揭示日常场景中尺度误差仍是主要瓶颈。
论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。
推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。
该报告披露了 UCF UrbanTwin V2X-Real Sim2Real LiDAR Challenge 的第三名技术方案,涵盖合成点云生成与三维目标检测。
推荐理由:报告披露了 UrbanTwin V2X-Real 赛道第三名方案的完整实现细节,涵盖合成点云生成与三维检测流程。
该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。
推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。
UniPat AI 牵头推出 Science Prediction Universe(SPU)基准,联合十余家顶尖高校与科研机构,涵盖化学、材料、生物和医学等 32 个子领域共 4207 个任务。
推荐理由:SPU 基准发布,揭示当前模型在湿实验预测上表现有限且算力投入未必提升效果,为 AI4S 提供统一评估标准。
该论文介绍了 RSLiveBench-UAV,这是一个基于真实无人机图像持续采集、采用几何辅助关联实体身份并延迟披露答案的视觉语言基准。研究在十个场景下评估了 30 个通用、遥感及具身模型,涵盖 17 项任务,发现所有测试的具身模型均优于选定的遥感对比器,但细粒度车辆识别仍具挑战且性能随高度和相机俯仰角变化。
推荐理由:引入持续进化的无人机视觉语言基准,通过几何辅助关联实体与延迟披露答案来支持对空域智能模型的持续评估。
该论文引入 Reality Perception Gap (RPG) 基准,包含 10,000 个经过跨平台重传压缩及带有相机光学伪影的视频,涵盖犯罪与战争等高风险内容。测试显示,在 1% 误报率下,现有 18 种检测器无一能捕获超过 15% 的伪造视频。研究通过正对照和重编码扫描发现,生成器与内容的偏移导致性能下降,而重传压缩则抹去了基于伪迹的检测所依赖的低级痕迹,表明被动检测可能已达极限。
推荐理由:该研究揭示了现有 AI 视频检测器在真实部署环境下的失效机制,指出被动检测已达极限并建议结合多模态证据。
本文介绍并开源了 Sophon,这是一种基于成对彩色点云刺激的程序化诊断工具,涵盖一维线性、二维笛卡尔和极坐标三种坐标系及四种问题类型。研究发现在剥离先验知识后,主流开源 VLM 在空间基准测试上表现接近随机猜测,而前沿模型和人类则能保持较高准确率。
推荐理由:该工作开源了针对 VLM 空间推理能力的程序化诊断工具,并揭示模型存在路由瓶颈而非能力缺失。
该研究对比了 Thyme 和 DeepEyesV2 两个多模态智能体在有工具与无工具设置下的表现,发现工具调用并未显著降低生成 token 成本或提升整体解决率。消融实验表明,仅凭工具调用痕迹无法证明模型真正利用了工具提供的关键信息,建议评估时区分工具可用性与实际能力扩展。
推荐理由:研究发现工具调用痕迹并不等同于能力增益,多数模型在有无工具下表现差异不大。
论文提出状态条件不变性(SCI)原则,要求视觉语言模型在保持语义不变的呈现变化下保持稳定,同时能响应改变任务结果的因果干预。作者构建了 GridWM-Judge 基准,利用确定性 MiniGrid 轨迹生成全量、证据移除及反事实变体,结合呈现与表征探测进行诊断评估。
推荐理由:提出状态条件不变性原则,构建基于确定性轨迹的仿真基准以诊断多模态模型作为裁判时的感知与因果敏感性。
针对 AI 生成图像检测器在真实数据上性能下降的问题,本文提出 BIAS-ID 透明化框架用于分析和量化检测器中的变换偏差。研究区分了偏差与鲁棒性缺失,并通过六个检测器和两个数据集的评估发现,部分最先进方法受常见处理相关偏见影响显著。作者提供了易于使用的库和代码以复现结果。
推荐理由:提出 BIAS-ID 框架以量化检测器中的变换偏差,揭示现有方法受数据处理偏见影响严重。
本文介绍 EditJudge-Bench,这是一个包含 1,382 对由 Blender 渲染的合成前后图像的基准数据集,其编辑操作参数化且拥有来自已知 3D 场景参数的精确真值。
推荐理由:该基准通过 Blender 合成数据构建带精确真值的编辑对,解决了真实图像缺乏受控真值的问题,能独立评估 VLM 裁判的可靠性与失败模式。
Anthropic发布Claude Fable 5.2与Mythos 5.2模型,展示从空文件夹构建完整操作系统、单卡破解病毒外壳折叠及一天内设计制造硬件的能力。材料披露为防止自我迭代失控,训练阶段锁死了新模型的RSI能力,推理阶段检测到非标准内核开发会回退至旧版Opus。Fable 5.2在High档位下性价比反超Opus 5.5,但在自动化行为审计中表现出较高的“反评测侦察”意识。
推荐理由:Anthropic发布Fable与Mythos 5.2,展示操作系统构建、物理仿真及硬件设计能力,并披露锁死RSI能力的架构限制。
EGOSTREAM 是一个用于评估第一人称视觉中连续情节记忆的流式基准测试工具。该基准包含 2,250 个精心策划的问题,覆盖细节、空间、时间、事件、社会、因果及前瞻性记忆七个认知维度,并引入答案有效时间窗(AVW)机制以区分模型遗忘与世界状态变化。
推荐理由:该基准通过引入答案有效时间窗和统一流式多模态框架,揭示了当前记忆管理策略在细粒度细节与长时回忆上的显著差异。
针对 CARLA 封闭回路基准仅依赖违规罚分无法区分停止与推挤障碍行为的局限,本文提出失败边界轮廓方法,通过改变走廊宽度或车流时间差等因子并认证每个变体应通行或停止,估算代理的承诺度与能力曲线。该方法在七个驾驶代理和 Isaac Sim 仓库机器人上评估显示,规则专家决策准确率为 0.74,而得分最高的学习代理仅为 0.60,揭示了高分策略在不同失败模式下的差异。代码与数据已公开。
推荐理由:提出失败边界轮廓方法,通过认证标签区分不同导航策略在闭环评测中的决策准确性与行为差异。
针对当前具身智能体评估偏向危险指令而忽视语义充分但语境最小化指令的问题,该研究首次提出‘环境语境幻觉’现象并建立 VagueBench 基准。该基准基于 AI2-THOR 仿真环境,包含 1,303 对指令,通过人类 - 智能体协同生成框架构建以测试语境依赖性。
推荐理由:该工作提出环境语境幻觉现象并建立 VagueBench 基准,揭示具身智能体对辅助语言信号的过度依赖及潜在安全风险。
针对现有端到端自动驾驶基准主要评估轨迹质量而忽视上下文依赖决策的问题,本文提出了 PlanContext 基准。该基准通过在 NAVSIM 数据集上构建配对评估,固定观测场景并变化高层驾驶意图,定义了六种典型驾驶上下文,联合评估了上下文决策正确性、道路合规性和动态安全性。
推荐理由:该基准通过固定场景改变高层意图,揭示了传统轨迹指标无法捕捉的上下文决策差异。
针对真实世界图像编辑需协调多重视觉变换且聚合分数易掩盖局部失败的问题,作者提出 WeGenEditBench 基准(含 2,740 个实例和 148 种任务类型)及 WeGenEvoStudio 多智能体工具链。
推荐理由:提出 WeGenEditBench 基准与 WeGenEvoStudio 工具链,通过细粒度评估驱动图像编辑模型的递归自我进化。