跳到正文
11月18日周三
  1. arXiv · 机器人与计算机视觉67

    EMRD:VLM 在安全关键场景下的探索、建图、记忆与决策基准

    本文提出 EMRD 评估框架,将视觉语言模型(VLM)的时空推理解耦为探索、建图、记忆和决策四阶段,并在 16 栋建筑及三种环境压力下评测了 11 个 VLM。结果显示,无外部记忆的开放权重模型在 95% 的回合中未访问房间且物体检测率不超过 51%,且其选择受语义先验影响显著;运动噪声、黑暗和烟雾分别导致位置误差增加、建图召回下降及可见物体减少。

  2. arXiv · 机器人与计算机视觉42

    TableVista:多模态表格推理基准评测

    TableVista 是一个包含 3,000 个高质量问题、经渲染扩展为 30,000 个样本的多模态表格推理基准。研究对 29 种开源及专有基础模型进行评测,发现其在复杂结构布局和纯视觉设置下表现显著下降。该结果揭示了当前多模态模型在结合结构复杂度与视觉呈现时难以保持推理一致性的关键差距。

  3. arXiv · 机器人与计算机视觉75

    通过解释驱动的对抗性测试揭示 VLM 的忠实度缺口

    该研究提出 Explanation-Driven Counterfactual Testing (EDCT) 协议,通过提取模型解释中的视觉概念并进行验证后的最小编辑,测试回答与解释是否仍与修改后的图像一致。作者构建了涵盖知识密集型问答、安全关键驾驶和三维空间推理三个领域的 EDCT-Bench 基准。评估显示现有 VLM 存在显著的忠实度缺口,且基于此生成的对抗样本可作为高效的微调训练信号。

  4. arXiv · 机器人与计算机视觉58

    自动驾驶交通标志识别:数据集、基准与实地实验

    针对自动驾驶中跨域差异、长尾类别和语义模糊等挑战,作者发布了 TS-1M 大规模全球多样化交通标志数据集(超百万张图像,454 个标准类别)及诊断性基准。研究对比了经典监督模型、自监督预训练模型和多模态视觉语言模型(VLMs),发现语义对齐是跨域泛化和稀有类别识别的关键因素,而纯视觉模型对外观变化和分布不平衡仍敏感。

  5. arXiv · 机器人与计算机视觉85

    RTime-QA:一种用于多模态大模型原子级时序事件理解的基准

    作者提出 RTime-QA 基准,利用时间反转的视频对和相同文本但答案不同的问题,检验多模态大模型是否真正感知事件在时间上的展开。该基准包含 8,420 个问题,涵盖快速评估、核心难例及连续事件等子集。

    推荐理由:该基准通过时间反转视频对,验证多模态大模型是否真正感知事件时序而非仅依赖单帧或语言先验。

  6. arXiv · 机器人与计算机视觉48

    FVScore:基于规范的神经符号视频评估框架发布

    FVScore 通过编译显式命题与隐式约束,利用感知工具及线性时序逻辑算子对视频生成进行可解释性评估。在包含多事件的公开基准测试中,该框架在人类相关性上优于现有整体判断或智能体基线,并仅保留具有感知显著性的违规以校准报告。项目页面已提供,代码与权重许可状态待进一步确认。

  7. arXiv · 机器人与计算机视觉51

    M3-Test:视觉问答联合扰动测试的覆盖缺口研究

    该论文提出 M3-Test,一种将干净输入与其单模态变体及完整联合扰动族对齐的覆盖率审计框架。研究发现,尽管四个视觉语言模型通过了 40 个单模态测试,仍有 26% 至 29% 的 Qwen 问题在联合扰动下失败,且仅靠最大强度角点无法消除此缺口。该工具支持将现有鲁棒性套件转化为请求级未测试账户,辅助接受度审查与回归分析。

11月17日周二
  1. arXiv · 机器人与计算机视觉78

    VISTAQA:联合视觉问答与像素级证据的基准评测

    该研究提出 VISTAQA 基准,包含 1,157 个专家 curated 样本,覆盖六种任务类型和六个视觉领域,要求模型不仅回答正确,还需提供支持答案的精确分割掩码。材料引入了 GROVE 统一评估指标,通过每样本几何平均强制文本准确性与定位质量共同生效,防止任一维度弥补另一维度的不足。实验显示即使最强系统在该指标下表现也有限,凸显了推理准确性与视觉证据对齐之间的巨大差距。

    推荐理由:VISTAQA 基准与 GROVE 指标强制模型同时输出正确答案和像素级证据,揭示了当前多模态大模型在推理与定位对齐上的显著差距。

  2. arXiv · 机器人与计算机视觉62

    打破多模态知识型视觉问答中的视觉捷径:RETINA 基准与 MIMIR 检索器

    针对现有多模态知识型视觉问答(MKB-VQA)基准普遍存在的‘视觉捷径’问题,作者构建了 RETINA 新基准和 MIMIR 多图像多模态检索器。该基准通过 LLM 驱动流程自动构建,包含 120k 训练集和 2k 人工 curated 测试集,专门引入次要主体(相关实体)的图文对以消除捷径依赖。

  3. arXiv · 机器人与计算机视觉47

    SciWorldBench:视频世界模型是否真正理解科学实验?

    SciWorldBench 基准通过成对科学实验评估十款图文转视频(TI2V)模型,发现其生成的配对视频常呈现相同结果而非依据条件变化产生不同结局。该预印本论文指出当前视频世界模型难以可靠应用底层科学原理,并将公开数据集与开源评测代码。

  4. arXiv · 机器人与计算机视觉53

    RAMP:通过答案读取协议重新思考多模态评估

    本文介绍 RAMP 框架,系统比较了直接 token logit、表面形式分数及不同接口下的多模态模型表现。研究在固定检查点下发现,输入方式(如打字与裸读)显著改变准确率,且配对转换揭示大量预测变化。作者通过独立离线回放验证了原始分数的可复现性,确立了答案读取作为评估关键组件的地位。

  5. arXiv · 机器人与计算机视觉83

    平均数掩盖的真相:单目度量深度模型在日常场景仍失败,主要在尺度上

    针对现有零样本单目度量深度模型评估依赖跨数据集平均分数的做法,本文指出其无法反映严重错误比例、偏差方向及共性失效图像。作者提出基于单图结果的评估框架,包含失效率(度量δ1<0.5)、结构对齐指标、尺度偏差与绝对误差等,并对比 11 种架构在 7 个日常场景基准集上的表现。

    推荐理由:提出基于单图结果的深度模型评估框架,揭示日常场景中尺度误差仍是主要瓶颈。

  6. arXiv · 机器人与计算机视觉78

    DominoBench:基于静态图像的跨步物理推理评估基准

    论文发布 DominoBench 基准,包含 854 个二维刚体场景的静态图像对,用于测试多模态模型预测链式反应结果的能力。实验表明,未获提示的前沿模型在关键决策步骤上准确率不足 72%,且无法自主计算决定结果的物理量;仅当提供具体计算和数值时,模型表现才显著提升。该基准旨在验证模型是否能在无提示下发现并计算决定性物理量,而非仅凭流畅描述场景。数据集与评估工具已开源。

    推荐理由:该基准揭示了多模态模型在仅凭静态图像进行定量物理预测时的失效,为具身智能与仿真到现实迁移提供了关键评估工具。

  7. arXiv · 机器人与计算机视觉75

    Hard or Mislabeled? Failure Screens Enrich Vision Benchmarks for Label Errors

    该论文指出,在视觉基准测试中,强分类器无法识别的‘失败屏幕’往往包含大量标签错误的样本。研究基于 ImageNet 等数据集验证了这一现象,发现严格筛选下的错误率显著高于整体水平。作者提出了 ScreenAudit 工具,用于重建修正后的答案集并对基准进行逐图审计,相关代码与数据将在后续发布。

11月16日周一
  1. arXiv · 机器人与计算机视觉38

    UltraBench 2:面向超声影像基础模型的鲁棒性评测基准

    UltraBench 2 是一个涵盖广泛解剖结构与任务的综合基准,旨在解决超声基础模型评估碎片化问题并提升标准化与可复现性。分析显示,专用预训练在分类任务仍领先,而通用大模型在分割任务上已追平最先进水平。该工作已被 ML4H 2026 会议接收,相关代码与数据将支持社区对超声影像基础模型的公平比较。

  2. arXiv · 机器人与计算机视觉52

    第二届 LoViF 2026 挑战赛:真实世界全合一图像复原方法与结果

    该论文回顾了第二届 LoViF 2026 挑战赛,旨在推进涵盖模糊、低光照、雾霾、雨雪等多种退化条件的统一图像复原技术。比赛吸引了 158 名注册参与者,最终有 20 个团队的结果被成功复现并纳入排名。报告对提交的解决方案进行了综合分析,揭示了有效的策略设计,并为未来真实世界低级视觉研究建立了更新的基准。

  3. arXiv · 机器人与计算机视觉58

    水下图像质量指标是否与人眼感知一致?基于人工选择、简单编辑与生成漂移的基准测试

    该论文评估了 73 种手工设计、学习型、视觉 - 语言及通用图像质量指标在水下场景中对齐人类偏好的程度,发现没有任何一种指标能始终匹配人类判断。研究通过四项基准(四组已发表意见评分集与一项新配对比较研究)测试指标一致性,并验证了简单编辑和对抗扰动是否会导致指标分数虚高、生成噪声累积时分数下降不足等问题。

  4. arXiv · 机器人与计算机视觉78

    Ego2Flow:基于真实城市地图蒸馏的自动驾驶交通系统影响基准

    该论文介绍 Ego2Flow 基准,用于评估自动驾驶在由真实世界城市数据蒸馏生成的地图上的交通系统级影响。作者开发了代理引导的地图蒸馏框架,结合现实地图与观测及地理信息,通过迭代反馈机制保留车道拓扑和关键几何特征,简化非必需细节并补全未观测区域。

    推荐理由:提出闭环基准 Ego2Flow,评估自动驾驶策略对从真实道路蒸馏出的地图的交通系统影响。

  5. arXiv · 机器人与计算机视觉72

    ParseBench-2:一种感知严重性的文档解析评测基准发布

    论文介绍了一种从严重性策略出发开发文档解析指标的方法,通过测试场景定义指标行为并利用代码智能体优化实现。作者构建了 ParseBench-2 基准,涵盖文本、格式、表格等六个维度及 4,317 页数据,结合内容恢复分数与严重性上限来评估模型。

11月14日周六
11月13日周五
  1. arXiv · 机器人与计算机视觉45

    图像何时决定答案?跨图表与场景的视觉可回答性基准评测

    该研究引入包含 PlotQA、CLEVR 和 GQA 共 3,000 组问题的基准,要求模型在证据充分时作答、不足时弃权。基于六种配置共 72,000 次响应测试显示,最佳配置在图表任务上完全问题成功率为 57.0%,个体图像正确决策率达 96.2%。评估揭示单纯按图决策准确率会掩盖需同时满足回答与弃权的整体失败风险。

  2. arXiv · 机器人与计算机视觉73

    MM-SCALE:基于证据的道德判断评估基准

    作者提出 MM-SCALE 基准,包含 8,444 个图像上下文和 21,977 个行动场景,要求模型在共享视觉背景下比较不同行动的道德评分并 grounding 理由。结果显示当前 VLM 的 NDCG@5 虚高而内部排序准确率低,且常忽视视觉证据的关键性,揭示了现有模型的证据 grounding 失效问题。

  3. arXiv · 机器人与计算机视觉72

    Visual Cipher Bench:评估大语言模型智能体的长程视觉推理能力

    作者发布 Visual Cipher Bench 基准,包含 40 个仅需黑白线稿和最少指令的视觉谜题,涵盖空间操作、逻辑约束等四类任务。实验显示,在八种前沿模型中,最强模型 GPT-6 Astra (max) 准确率仅 26.7%,多数低于 1%;而提供单一非剧透提示后,十项子任务的准确率从 7.8% 提升至 55.6%。

  4. arXiv · 机器人与计算机视觉48

    DashBench 评测视频大模型对自动驾驶长尾场景的理解能力

    DashBench 基准测试了 25 个视频大语言模型在涵盖碰撞及非碰撞类共 1709 条精心筛选的驾驶视频上的表现。结果显示所有被评估模型均远低于安全关键应用所需阈值,常误判危险事件或产生幻觉。该基准结合严格评测工具与详细诊断报告,旨在推动更安全、可解释的自动驾驶系统发展。代码和数据将在指定链接共享。

  5. arXiv · 机器人与计算机视觉17

    RGB-D SLAM on the Edge:Raspberry Pi 5 上 RTAB-Map 与 ORB-SLAM3 基准评测

    研究在 Raspberry Pi 5 上对 RTAB-Map 和 ORB-SLAM3 进行六序列基准测试,发现全分辨率下前者耗时 150-462ms、后者为 26-62ms。RTAB-Map 因无界内存优化位姿图导致成本高,而 ORB-SLAM3 局部束调整在并行线程中运行。四分之一分辨率时两者多数序列丢失跟踪,轨迹误差波动达 27%,精度差异尚无定论且未发生热节流。

  6. arXiv · 机器人与计算机视觉65

    DesignTaste:AI 生成设计作品与获奖作品的基准评测

    本文介绍 DesignTaste 基准,利用 Beste Plakate 2025 和 ADC 2026 的获奖作品及背景信息构建 403 个设计简报。六款主流商业文生图模型针对同一简报生成图像,并由单一模型裁判在五个维度独立评分。结果显示仅 ArtArk 的平均总分高于获奖作品,所有模型在创意原创性维度得分均低于获奖作品,表明生成美观图像不等于具备优秀设计方案能力。

  7. arXiv · 机器人与计算机视觉72

    Verifier Choice is a Benchmark Design Variable:文本到图像模型的结构计数评测审计

    该研究指出自动评测分数是生成器、提示分布、验证器及评分规则的共同属性而非仅由生成器决定。作者在结构计数任务上构建了验证器中心审计套件,涵盖手机、椅子等物体及三叶草叶片等子结构,在 Qwen-Image-2512 和 FLUX.2-dev 生成的 6,240 张图像上进行测试。

  8. arXiv · 机器人与计算机视觉78

    RSLiveBench-UAV:一种用于空中空间智能的持续进化视觉语言基准

    该论文介绍了 RSLiveBench-UAV,这是一个基于真实无人机图像持续采集、采用几何辅助关联实体身份并延迟披露答案的视觉语言基准。研究在十个场景下评估了 30 个通用、遥感及具身模型,涵盖 17 项任务,发现所有测试的具身模型均优于选定的遥感对比器,但细粒度车辆识别仍具挑战且性能随高度和相机俯仰角变化。

    推荐理由:引入持续进化的无人机视觉语言基准,通过几何辅助关联实体与延迟披露答案来支持对空域智能模型的持续评估。

  9. arXiv · 机器人与计算机视觉82

    Reality Perception Gap:AI 操纵视频检测器是否准备好应对现实世界?

    该论文引入 Reality Perception Gap (RPG) 基准,包含 10,000 个经过跨平台重传压缩及带有相机光学伪影的视频,涵盖犯罪与战争等高风险内容。测试显示,在 1% 误报率下,现有 18 种检测器无一能捕获超过 15% 的伪造视频。研究通过正对照和重编码扫描发现,生成器与内容的偏移导致性能下降,而重传压缩则抹去了基于伪迹的检测所依赖的低级痕迹,表明被动检测可能已达极限。

    推荐理由:该研究揭示了现有 AI 视频检测器在真实部署环境下的失效机制,指出被动检测已达极限并建议结合多模态证据。

  10. arXiv · 机器人与计算机视觉63

    跨域深度伪造检测的诚实融合评估:泄露审计与尾部鲁棒性

    论文指出跨域视频深度伪造检测中,表达性路由和特征融合的增益多为评估泄露所致。通过 2x2 折叠审计发现,在诚实家庭保留下所有显著增益消失;但在尾部硬样本上,全局校准融合(InvB)将多专家误分类视频比例从 15.2% 降至 2.3%,且在最坏家族 AUC、选择性风险和低假阳性召回率上稳定优于单一专家。建议从业者进行全局校准与组合,并保留完整数据集家族进行评估。