何时切片推理有效?分辨率、分块与稠密融合对小目标检测的影响
论文重新审视切片推理(如 SAHI)在小目标检测中的收益,发现高分辨率单通训练优于盒融合策略。作者提出 SCAHI 方法,通过加权累积所有通道的密集输出并优化峰值网格分辨率,在 VisDrone 和 DOTA 数据集上显著超越盒融合方案,尤其在 DOTA 高分辨率图像上表现更佳。
推荐理由:研究证实高分辨率单通优于切片融合,并提出 SCAHI 方法在 VisDrone 和 DOTA 数据集上提升小目标检测精度。
技术方向
检测、分割、三维感知、定位与视频理解,以及相机、传感器和视觉工程。
985 条精选近 30 天 659 条共收录 6,653 条
论文重新审视切片推理(如 SAHI)在小目标检测中的收益,发现高分辨率单通训练优于盒融合策略。作者提出 SCAHI 方法,通过加权累积所有通道的密集输出并优化峰值网格分辨率,在 VisDrone 和 DOTA 数据集上显著超越盒融合方案,尤其在 DOTA 高分辨率图像上表现更佳。
推荐理由:研究证实高分辨率单通优于切片融合,并提出 SCAHI 方法在 VisDrone 和 DOTA 数据集上提升小目标检测精度。
本文介绍 EditJudge-Bench,这是一个包含 1,382 对由 Blender 渲染的合成前后图像的基准数据集,其编辑操作参数化且拥有来自已知 3D 场景参数的精确真值。
推荐理由:该基准通过 Blender 合成数据构建带精确真值的编辑对,解决了真实图像缺乏受控真值的问题,能独立评估 VLM 裁判的可靠性与失败模式。
针对现有视频生成模型在物理动态上表现脆弱的难题,本文提出 PhysOPSD 方法,引入可执行代码作为特权物理上下文,将真实场景转化为可验证的仿真程序。该方法通过双级物理特权和受控物理变化,在仅用 3K 样本的情况下显著优于监督微调与强化学习基线,同时保持视频生成质量。
推荐理由:提出用可执行代码作为特权上下文,以少量样本提升视频生成的物理合理性。
针对大规模矢量高清地图标注成本高及现有方法忽视预测不确定性的问题,本文提出 ReVMap 框架。该方法利用点级定位不确定性将全局先验融入局部预测以提升鲁棒性,并预测局部到全局的连通性以进行可靠性感知的选择性更新。在 nuScenes 和 Argoverse 2 基准上的实验表明,ReVMap 在局部地图预测与全局地图构建方面均达到最先进水平。
推荐理由:提出 ReVMap 框架,通过不确定性引导先验与连通性感知融合解决矢量 HD 地图构建中的误差传播问题。
作者发布 DisasterVL 数据集与基准,包含约 120 万张来自 142 个国家的灾害图像及 2500 万条结构化标注,涵盖场景描述、事件地点评估、空间关系及视觉问答。
推荐理由:该工作提出灾难场景理解基准与模型,为具身智能在极端环境下的感知推理提供新数据支撑。
论文介绍 BetaGrasp,这是一种结合四分类握持标签(crimp、sloper、pinch、jug)作为模式切换的 3D 扩散策略,运行于 Franka 机械臂与 16-DoF LEAP 手部。实验在弹簧测试台(带棘轮测力计)上验证,结果显示该标签使平均滑移力从 9.6 N 提升至 14.3 N,完全脱手率从 44% 降至 10%,而仅靠点云编码的基线策略无法区分握持类型且成功率仅为 25%。
推荐理由:BetaGrasp 通过引入四分类握持标签作为模式切换,将仿真到现实的滑移力提升显著,大幅降低完全脱手率。
针对流式三维重建中因不可靠更新导致长期几何漂移的问题,本文提出 HIST3R 框架。该方法在 CUT3R 基础上,利用局部一致的历史状态修正更新方向,并根据当前观测与历史的视觉差异调节更新幅度。实验显示,在 ScanNet、TUM-Dynamics 等数据集上,HIST3R 显著降低了绝对轨迹误差并提升了重建精度,且保持了原有的内存占用和推理速度。
推荐理由:提出 HIST3R 框架,通过历史状态修正更新方向并调节幅度,解决长视频重建中的几何漂移问题。
论文提出 CSG-Nav 框架,通过整合开放词汇检测、深度定位与多视图证据加权,解决长程感知不可靠及幻觉偏差问题。在 HM3Dv1/v2 和 MP3D 数据集上实现零样本导航成功率分别为 58.9%、71.6% 和 44.3%,并在室内外真实环境完成部署验证。代码已开源。
推荐理由:提出基于置信度的语义几何融合框架,在 HM3D 等数据集实现零样本导航新 SOTA,代码已开源。
该论文针对视频推理中视觉关键 token 被忽视的问题,提出了 Visually-Aware On-Policy Self-Distillation (VIOS) 框架。
推荐理由:提出无需外部裁判的单策略自蒸馏框架,显著降低视频推理模型的训练成本并提升多基准表现。
论文指出开放词汇分割模型在部署超出训练类别时,会静默丢失某些类别且仍输出高置信度掩码,但训练损失下降甚至 mIoU 上升。研究证明哪类崩溃完全由类名列表决定:基于类名与训练词汇的文本相似度即可预测崩溃风险,该排名在九个模型家族中 AUROC 达 0.69-0.96。
推荐理由:研究发现仅凭类名列表即可预测分割读出的崩溃风险,无需查看图像。通过调整词汇距离或训练幅度可恢复已消失的类别,为模型鲁棒性提供新视角。
该研究针对 SEEM 模型在光学相干断层扫描血管造影(OCTA)中分割细血管效果不佳的问题,提出了一种名为 RBA 的读出基适配器。该方法通过生成图像特定的基础图并配合秩为 1 的 LoRA 编码器分支,在不改变原始特征读取分辨率的前提下提升了动脉与静脉的区分能力。
推荐理由:针对 SEEM 模型在 OCTA 血管分割中读出线粒体分辨率不足的问题,提出仅增加 0.47M 参数的 RBA 适配器,在薄血管分割上优于 LoRA 等参数高效方法。
针对无监督行人重识别面临的域差距及现有方法不支持多网络架构的问题,本文提出 Mamba 增强的多架构域自适应(MDA)框架。该框架在两个层面构建能力:首先设计包含 Mamba 组件的复合算子以增强域自适应;其次基于此算子构建支持 CNN 和 Transformer 多种骨干网络的通用框架。
推荐理由:提出 Mamba 增强的多架构域自适应框架,在 CNN 与 Transformer 骨干上均提升 Re-ID 性能。
针对视觉语言模型在新类别或领域上的适配问题,该方法通过保留冻结与提示后的四分支预测,结合局部置信度与集合频率偏差进行仲裁。在 ImageNet 上训练后,其在十个跨数据集基准的平均准确率达 69.96%,刷新 ImageNet-S 记录至 52.21%,并在基类到新类的迁移任务中达到 79.77% 的新类别准确率。代码已公开。
推荐理由:提出上下文自适应融合方法,在跨数据集基准上超越现有提示微调技术并刷新 ImageNet-S 记录。
MemSurg 是一个针对机器人辅助手术的视频理解框架,旨在解决帧级提示无法利用早期观察历史的难题。该框架通过结构化记忆图存储带时间戳的实体类别、位置、运动线索和交互摘要,并利用时序链接与实体关联链接保留上下文及跨阶段观测。
推荐理由:该框架通过结构化记忆图解决手术视频理解中的历史上下文缺失问题,在前列腺切除术等基准上显著优于现有方法。
针对稀疏驾驶场景中 LiDAR 点云仅覆盖物体小部分的挑战,本文提出 AmodalBox 框架,利用图像生成的 3D 资产作为非遮挡几何先验。该方法通过建立输入图像与渲染视图的对应关系,将标准非遮挡几何与部分观测的世界空间 LiDAR 点云对齐。
推荐理由:该方法利用图像生成资产作为几何先验解决部分遮挡问题,在 nuScenes 和 Waymo 数据集上显著提升了检测性能。
该论文研究了在曝光时间存在不确定性时,具有相同测量预算的相机 rigs 如何表现出不同的速度估计率。作者建立了滚动快门重建的理论框架,区分了两种读出策略的风险阶数:重复读出的最坏情况平方速度风险至少为 $ ho_{ ext{eff}}$ 量级,而互补读出的极小极大风险为 $ ho^2$ 量级(其中 $ ho_{ ext{eff}}$ 为固定允许的时钟位移)。
推荐理由:原文建立了滚动快门在时钟不确定下的速度风险理论,区分了不同读出策略的误差阶数。
论文介绍 RoadState,这是百度地图更新管线中已部署的视觉语言系统,将连续道路场景观测转化为结构化车道级语义。其核心模型 RoadState-VLM 采用自回归状态估计架构,结合几何思维链(Geo-CoT)利用语义依赖有向无环图作为领域先验,提升跨维度的语义一致性与推理保真度。
推荐理由:RoadState-VLM 通过几何思维链与领域先验提升车道级语义理解准确率,已在百度地图更新管线中部署并降低成本。
该论文提出了 DeLang-SR(Degradation-Language steered Super-Resolution),这是一种用于暗光图像超分辨率的一步流匹配框架。
推荐理由:提出 DeLang-SR 框架,通过解耦方向与幅度实现暗光图像超分。
该论文提出 Mental Simulation Collapse (MSC) 现象,指出当前多模态大模型在潜在空间进行视觉推理时,往往仅通过文本路径计算答案,内部生成的视觉潜变量对结果影响微乎其微。作者引入 AnchorSim 对比蒸馏框架训练模型,使生成的视觉潜变量变得关键,从而在多模态推理基准上提升性能并修复该失效模式。
推荐理由:本文揭示了潜在多模态推理中的‘思维模拟崩塌’失效模式,并提出 AnchorSim 框架使内部视觉状态对预测产生实质性影响。
该研究针对医疗检索增强生成中视觉语言模型(VLMs)面对 X 光片与报告冲突时的行为提出质疑。通过表征探测、激活引导和双向强制选择等诊断方法,在四个指令微调 VLM 上验证了矛盾回避现象。
推荐理由:研究证实 VLMs 在医疗场景下因不确定性而非隐瞒回避矛盾,为安全部署提供新诊断视角。