VLMs 真的在看路吗?面向自动驾驶的诊断性评估
针对自动驾驶领域利用问答基准评估视觉语言模型(VLM)但高准确率未必反映视觉化推理的问题,作者提出了一套诊断评估框架。该框架包含恶劣天气与路口交叉口两类任务,并扩展了 nuScenes 空间推理测试,对开源 VLM 进行了无图、反事实天气敏感度、语言鲁棒性及空间推理四项协议的系统性探测。
针对自动驾驶领域利用问答基准评估视觉语言模型(VLM)但高准确率未必反映视觉化推理的问题,作者提出了一套诊断评估框架。该框架包含恶劣天气与路口交叉口两类任务,并扩展了 nuScenes 空间推理测试,对开源 VLM 进行了无图、反事实天气敏感度、语言鲁棒性及空间推理四项协议的系统性探测。
EviRef 是一种无需训练的计算机视觉方法,通过为每类证据构建独立参考记忆来验证场景规则。该方法在 VID-AD 数据集上,仅用每个任务 20 张正常图像即可实现平均 AUROC 92.1%,优于使用 50 张图像的对比方法。其组件原型可解析任意捕获条件下的图像,且支持文本等额外证据通过任务级门控机制接入。
针对视频跌倒检测中陌生摄像头与稀缺本地标签的挑战,该研究分析了 OmniFall 和 AI-Hub 数据集共 2,697 个片段,验证了多源联合训练对跨数据集检测的提升。
针对现有开放词汇遥感图像分割方法在单轮推理中难以区分视觉相似但类别不同的区域的问题,论文提出 Puzzle 框架。该方法利用预测历史与视觉相似度先验,通过轻量级控制器迭代细化块级注意力并自适应停止,无需重新训练即可兼容多种模型与数据集,显著提升了分割性能。
论文提出了 DecoEdit 框架,旨在解决当前多模态图像编辑局限于二维平面控制(如文本提示、边界框)的难题。该工作构建了包含 160 万样本的 DecoDataset 数据集和 DecoBench 基准测试,并设计了一种解耦管道:利用 SAM-3D 的结构引导锚定目标几何、比例和空间方向,同时通过细节保留路径锁定高保真纹理。
论文提出 DEFDVO 方法,通过结合球面先验的可变形特征提取、端到端的接缝感知估计以及基于球面梯度的补丁选择,解决了全景相机等距矩形投影带来的畸变与采样偏差问题。该方法仅在 TartanAirV2 合成数据上训练,在 360DVO 基准测试中将平均绝对轨迹误差降低了 4.8 倍,并取得了真实世界数据集上的最低平均 ATE。代码已开源。
针对薄细裂缝视觉线索弱及标注成本高的难题,FDAM 提出融合盒检测与网格分类的框架,通过频域增强与方向特征细化提升定位精度。该方法在 RoadDistress2026、Crack500 和 DeepCrack 数据集上验证了有效性,代码已开源。
SearchChord 提出一种免训练框架,通过文本预选、图像验证和潜在场重组平衡编辑保真度与计算成本。消融实验显示在 200 个候选者池中选取 100 个最具性价比,而 TextSim 仅需预选 10 个即可优于全量输入。该方法在 PIE-Bench 及新提出的 CropWeed-EditBench 上验证了文本预选提升对齐、重组保留源内容的权衡机制,代码与数据将公开。
该论文指出,在视觉基准测试中,强分类器无法识别的‘失败屏幕’往往包含大量标签错误的样本。研究基于 ImageNet 等数据集验证了这一现象,发现严格筛选下的错误率显著高于整体水平。作者提出了 ScreenAudit 工具,用于重建修正后的答案集并对基准进行逐图审计,相关代码与数据将在后续发布。
论文提出角色分离扩散 Transformer(RoSeDiT),利用 adaLN 监听机制将全局规则与图像 token 隔离,解决类条件 DiT/SiT 中控制器通道不足的问题。
推荐理由:提出 RoSeDiT 架构,通过控制器通道实现全局规则隔离与确定性采样流形压缩,在更少参数和步数下超越 SiT 基线。
该研究对比了八种上采样方法在提升低分辨率(128 至 8 像素高)美国车牌可读性方面的效果。结果显示,SwinIR 开源增强器使性能最高提升 38 个百分点,而自适应去噪先验和商业 AI 上缩反而损害可读性;传统插值仅带来约 5-9 个百分点的微弱增益且最近邻插值有害。实验未发现字符幻觉现象,明确了不同技术在计数与识别任务中的具体贡献差异。
针对近身交互场景下缺乏大规模标注数据的难题,作者提出了 CISyn 数据集,利用物理仿真和 Blender 渲染生成了包含碰撞动力学、相互遮挡及姿态纠缠的 25,000 条序列。该工作还提出了一种不确定性感知损失函数,帮助模型更有效地学习重度遮挡样本。实验表明,结合 CISyn 并替换回归损失可显著提升近身交互基准上的表现。数据集、生成管线和代码已开源。
RAVEN-Bench 引入包含 100 对时序对齐 EO-IR 视频及 1200 道人工审核的四选一问答题,支持单模态与配对评估以诊断跨光谱推理能力。该基准在 NeurIPS 2026 数据集与评测轨道被接收,代码和数据已开源,旨在验证 RGB 视频模型进展是否有效迁移至低空多模态理解任务。
UnSPAD 是一种融合并去噪任意长序列二进制 SPAD 测量的不确定性感知爆发摄影框架,通过结合运动估计与不确定性引导的测量融合及去噪,生成时序一致且无幻觉的重建结果。该方法在真实和模拟的 SPAD 及量子图像传感器基准测试中,相比最先进方法展现了最佳重建质量、提升的时间一致性以及更优的色彩保真度。该工作已获 WACV 2027 录用,相关代码与数据开放许可情况需参考官方发布。
针对现有不确定性估计器难以区分字段级推理误差且忽视视觉退化问题,本文提出 FiReIQ 框架,通过结合单生成过程的字段对齐推理信号与局部全局图像质量特征进行质量条件化视觉融合。研究构建了涵盖金融票据和法律合同的 FiReIQ-Bench 基准,实验表明该方法在私有金融服务数据上将 AUROC 提升 6.8%,95% 精度下的覆盖率提升 10.6%,有效降低了人工复核需求并提升了文档自动化可靠性。
推荐理由:FiReIQ 框架结合推理信号与图像质量特征,在金融票据等文档提取任务中显著提升了置信度判别能力。
论文提出 Guided Group Featurizers (GGF),这是一种利用物体标注进行初始化和训练的块稀疏特征提取器(BSF)扩展方法。研究评估显示,GGF 的特征组在语义一致性上平均达到 94.1%,显著优于 SLiCS 和受监督的 Vanilla BSF;同时其单组捕捉效率覆盖目标图像的比例更高,且参数更少、训练循环更短。
该论文针对非 RGB 科学成像(如生物、医学和卫星图像)中数据集通道组成异质性的问题,提出 DINO BoC 方法。研究发现,在大规模数据训练下,独立编码通道的策略显著优于联合编码方法。该方法在从细胞显微镜到地理空间图像的广泛实验验证中表现优异,特别是在分布外任务和无见过组合的泛化上达到新的 SOTA。作者开源了用于荧光显微镜的新型通用特征提取器的代码和模型权重。
推荐理由:论文提出 DINO BoC 方法,证明在大规模数据下独立编码通道优于联合编码,并在荧光显微镜等基准上刷新 SOTA。
RescueVLM 是基于 SketchVLM 构建的开源、免训练且模型无关的救援工具,支持在本地部署并通过下拉菜单切换底层模型。该框架在德国消防队实地数据及实火演习中验证有效,单次自然语言查询即可将数百张图像浓缩为带 SVG 标注和 GPS 定位的关键帧短名单供指挥官审阅。
DeepVFR 是一个用于人脸视频修饰的初始受控合成基准,包含 1,024 对 30 fps、150 帧的视频片段。该基准由 Wan2.2 生成源片段并通过后端特定的人脸迁移构建同步代理目标,旨在解决专业编辑一致性与隐私合规难题。数据及排名将在论文接收后公开,但明确不替代人工修饰视频或建立合成到真实的泛化能力。
论文发现视觉语言模型(VLM)在检查临床影像时,若先见图像后见元数据,会推翻约 91% 的误判;反之则推翻 98-100%。研究基于 60 对含覆盖缺陷的 NLST 胸部 CT 及真实不匹配样本验证了该现象,并指出简单警告句可将顺序反转影响降至 9% 以下。
推荐理由:研究发现 VLM 对相同证据的质检决策受输入顺序影响,揭示了临床影像处理中的新风险。
该报告披露了 UCF UrbanTwin V2X-Real Sim2Real LiDAR Challenge 的第三名技术方案,涵盖合成点云生成与三维目标检测。
推荐理由:报告披露了 UrbanTwin V2X-Real 赛道第三名方案的完整实现细节,涵盖合成点云生成与三维检测流程。
Agri-MRAG 提出语义一致性引导聚类与参数化知识注入策略,将检索知识编码为 LoRA 适配器并融合至 MLLM 前馈网络层。该框架在 PlantVillageVQA 和含 7,514 张图像的 PlantVQA 数据集上 ROUGE-L 分别达 41.21 与 46.58,较 mRAG 提升 11.70 分。
arXiv 预印本论文 AerialOcc 提出了一种统一的基于占据栅格(occupancy)的空中感知模型,旨在解决现有方案依赖特定任务输出的问题。该研究构建了 AerialOcc-20K 大规模多类别占据数据集,实验表明该统一架构能在单次推理过程中支持多种无人机感知任务,在保持结构统一的同时实现具有竞争力的性能。材料为预印本版本,未提及同行评审状态或具体部署许可。
Conv-Reluplex 框架专为卷积层和池化层设计,旨在为计算机视觉中的深度神经网络提供形式化安全保证并生成对抗样本。实验在 MNIST 数据集上进行,结果显示利用该工具生成的对抗样本显著提升了原始 CNN 的分类精度。该工作发表于 SEKE 2021,代码与数据许可状态待定。
Trap Tracker RT 是首个由野外组织拥有基础设施的开源自托管应用,通过邮件或 FTP/SFTP 接收图像并调用 DeepFaune-SSA v1.2 模型进行本地分类与预警。
Songtao Hu 等人提出一种特征空间语义预测框架,旨在解决现有手术辅助系统过度关注外观保真而忽视下游推理需求的问题。该方法直接在冻结的视觉基础模型(VFM)表示中建模时序动态,通过构建分层目标表示并用可学习掩码替换未来帧特征,训练掩码 Transformer 从观测上下文预测潜在特征。
推荐理由:提出在冻结视觉基础模型特征空间进行语义预测的框架,相比像素级合成在手术流程预判与工具识别上表现更优。
VTG-RAG 框架结合查询自适应粗到细采样与图检索,解决长视频中稀疏证据定位及多模态干扰问题。在 LongVideoBench 基准上,配合 Qwen2.5-VL-32B/72B 模型(24 帧输入),准确率分别从 48.16% 提至 50.56%、从 52.13% 提至 53.32%,验证了各组件贡献。
Neural Latent Gaussian Process 架构利用稀疏二维组织切片数据,成功插补参考脑中未观测体素的连续三维脂质分布。该模型在 173 种测得的脂质上平均相关系数达 0.613,优于线性回归、XGBoost、MLP 及 Neural Transcriptomic Field 等基线方法。
本文指出单纯识别个体事件无法保证流式视频中组合指令的正确执行,引入 CoTriggerBench 基准验证通知时机与静默问题,并提出实时 VLM 智能体 TEMPI。TEMPI 通过分解原子查询、维护场景记忆及重叠视觉编码优化推理管道,在 8 GB RTX 5060 上实现 4.90 倍加速,指令级成功率达 44.4%,优于最强闭源与开源基线。材料为预印本论文,未涉及真实机器人部署或量产许可。
推荐理由:提出 TEMPI 智能体与 CoTriggerBench 基准,解决流式视频理解中的时序指令触发难题。
该论文提出一种无需插入物理靶标的立体粒子图像测速(Stereo PIV)相机系统自标定方法,直接利用粒子图像序列进行校准。方法通过构建基于 CUT3R 的循环 Transformer 处理单目流以累积粒子运动状态,并利用跨视角解码器回归双向点对应关系,最终结合五点 RANSAC 求解恢复相对位姿。模型在合成数据集及真实相机布置上均实现了优于现有网络的光流误差和更高的位姿精度。
论文提出 AITHER(Authority-Informed Text-Image Hierarchy)框架,旨在解决传统 grounding 方法中隐含的决策问题——即何种输入有权决定答案。
推荐理由:提出 AITHER 方法,通过无训练语义帧路由解决多权威图文推理冲突,在 MATRIX 基准上准确率超最强基线 9.1 个点。
论文指出多图像视觉语言模型(VLM)因无法定位物体位置而难以检测场景变化。作者提出 STILL 方法,利用 3D 几何将待检测物体的位置在另一视角下进行注册,并训练 VLM 从全局和局部视角回答该位置是否仍有物体。
arXiv 论文 LiNO 针对自动驾驶车辆的占用估计任务,提出了一种结合相机与雷达传感器的实时轻量级架构。该方法通过残差多阶段头设计替代了以往依赖重型纯相机模块的方案,并引入特定任务的数据增强策略以提升泛化能力。
ShiftGuard 研究在 CIFAR-10 数据集上验证了最大软概率(MSP)结合预测熵的融合评分优于单纯的特征距离信号,错误检测 AUROC 达 0.9235。在仅用 1,000 张校准图像且设定 5% 风险目标时,该融合方法能接受 84.82% 测试样本并将观测误差控制在 2.05%,而单纯特征距离无法达到此认证标准。
该研究探讨了在图像编辑中采用通道拼接(channel-wise concatenation)作为序列拼接的低成本替代方案,以保留源图像的结构布局。基于 FLUX.2 Klein 4B 基座模型,该方法仅需展宽输入投影即可实现像素对齐的输出,并保持了原始序列长度与较低的注意力成本。
该论文针对冻结的检测器在多相机网络中产生身份碎片化的问题,提出了一种后处理框架以改善 3D 跟踪效果。核心方法包括在两个输入尺度间进行类别感知的源选择、将 3D 框投影到所有校准视图以匹配 2D 检测的几何外观桥接,以及结合因果短间隙缝合与离线质心链接聚类的约束感知整合。
论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。
推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。
Dayu Wang 等人提出了一种针对视频语言模型的上下文管理机制,通过多模态旋转位置编码(M-RoPE)和基于内容哈希的缓存策略,实现了长视频的稀疏采样与关键片段的高效解码。实验表明,该方法在合成针孔视频中能显著降低预填充 token 数和重建延迟,且通常保持回答准确性;代码、日志及复现脚本已开源。
LVRE 是一种免训练的视觉代理,旨在解决光学化学结构识别中全图再生引入回退误差的问题。该方法结合高分辨率裁剪、全局图表与局部邻域进行针对性检查,由确定性控制器验证修改并由视觉审查模块仲裁提交或回滚。
T2T 提出全自动流水线,将桌面、Web 及移动端未标注视频教程转化为结构化可执行交互轨迹。该管线结合主动片段过滤与两阶段动作空间归一化,在百万级无人类标注样本上微调 Qwen3-VL-8B。模型在 OSWorld-G、ScreenSpot-Pro 等基准实现跨应用泛化提升,且无需目标域分布内训练数据。