EfficientVPR:通过场景感知提示调优与自适应特征增强实现高效视觉定位
针对视觉定位中环境变化大与计算资源受限的挑战,本文提出 EfficientVPR 轻量级单阶段框架。该方法利用场景感知视觉提示调优以少量参数适配预训练特征,并结合实例依赖的关键局部特征增强模块强化判别区域。
针对视觉定位中环境变化大与计算资源受限的挑战,本文提出 EfficientVPR 轻量级单阶段框架。该方法利用场景感知视觉提示调优以少量参数适配预训练特征,并结合实例依赖的关键局部特征增强模块强化判别区域。
该研究针对跨机构的临床任务适配问题,利用配对腹部 CT 扫描和放射学报告对预训练的 3D 医学 VLM 进行了自监督适应。实验对比了全量微调与参数高效微调(PEFT)两种策略:全量微调收敛快但易过拟合,而 PEFT(图像编码器用 ConvLoRA,文本编码器用 LoRA)在更新约 1% 参数的情况下达到了相当的性能,AUC 为 0.79,F1 为 0.70。
该研究指出当前指令引导的视频编辑奖励模型常因过度追求时间一致性而导致“运动坍塌”,在 VE-Bench 基准上对抑制了运动的候选项选择率高达 97%。为此,作者提出一种结合 RGB 帧差流与针对运动抑制及伪造运动负样本进行偏好训练的运动感知奖励模型,并通过蒸馏锚点保持与人类质量判断的一致性。
该论文提出保护性扩散模型(PDM),通过蒸馏迭代教师网络并结合目标残差投影损失进行后训练,实现了一次训练即可为多张新图像生成扰动样本。该方法在人脸和艺术作品等任务上优于九个基线模型,且成本仅为教师的十分之一。材料为预印本版本,未提及同行评审状态或具体部署场景。
Guoping Xu 等人提出 LeViT-UNet++,这是一种旨在平衡局部细节保留与全局上下文建模的高效编码器 - 解码器架构。该模型引入 Haar 小波多尺度下采样模块以分解特征表示并提取多尺度结构信息,同时开发基于深度卷积的解码器来融合 Transformer 块的全局表示与局部空间特征。
论文提出了 PRUDENT 方法,用于加速大型视觉语言模型(VLM)。该方法利用一个小 VLM 对剪枝后结果的异议信号,将节省下来的计算资源重新分配给那些小 VLM 认为不可靠的问题进行二次回答。在 18 个基准测试中,PRUDENT 在相同的平均视觉 Token 预算下优于八种现有的剪枝方法,且在预算更紧张时优势更大。代码和数据已公开。
推荐理由:提出 PRUDENT 方法,利用小 VLM 对剪枝结果的异议来重新分配视觉 Token,在多个基准上优于现有方法。
针对手动从参考视频中重建动画三维块状布局成本高、限制创作者使用及配对训练数据生产的问题,该工作提出 MAVE 框架与 MAVEBench 基准。MAVE 结合度量观察、代理建模和基于证据的验证,在共享度量坐标系中恢复相机、人物运动及几何证据,由代理构建受约束的可编辑环境,并通过程序化检查报告不一致性以指导优化。
推荐理由:该工作提出 MAVE 框架与基准,从电影镜头重建可编辑三维场景,为视频生成提供结构化条件。
Sample-Aligned Decoders (SAD) 通过样本对齐与编码器锚点保留技术,解决潜在生成模型在测试时未见真实潜变量的分布差异问题。该方法在不增加推理开销的前提下,将 REPA-E 的 FID-50K 指标从 1.15 提升至 0.98,并兼容判别器引导及文生图任务。代码与模型已开源,适用于 ImageNet 等主流生成架构。
MedImgAnnotator 是一款集成编辑、掩码匹配及插件管理的半自动批量标注工具,将主动标注时间从开源工具的 206.5±32.87 秒降至 59 秒。该工具已在 MICCAI 2026 CARE Challenge 肝分割优胜者处用于处理 6412 个 MRI 容积数据,且经 12 名用户评估显著提升了易用性。目前提供可执行文件与 Python 脚本版本供下载。
COAST 是一种基于 B-Spline 的在线轨迹规划器,通过 A*前端生成几何简单安全飞行走廊并利用二次规划优化控制点,在确保严格安全约束的同时将平均计算时间控制在 5 ms 以内。该方法利用 B-Splines 有限支撑特性保证曲线不越界,并结合 MINVO 变换与摄动最小化矩阵实现动力学可行且平滑的轨迹。研究已通过高保真仿真实验验证了该算法的有效性,源代码已公开。
本文针对视觉语言模型的在线蒸馏(OPD)范式,挑战了其对后门传播具有天然抵抗力的直觉。研究发现,一旦超过临界阈值,攻击成功率会迅速接近 100%,且该过程不依赖显式恶意响应,而是由教师模型分配的异常概率质量累积驱动。作者提出了一种无需显式注入触发器的新型触发器设计,揭示了 OPD 中被忽视的后门传播机制及其潜在安全风险。
推荐理由:该文挑战了在线蒸馏对后门传播具有天然抵抗力的直觉,揭示了在特定阈值下攻击成功率可达 100% 的机制及无需显式触发器的新设计。
针对车载通信预算受限问题,本文提出 Spatial Elastic Consensus (SEC) 框架,通过双向供需共识分配令牌预算以聚焦关键缺失证据而非冗余信息。该方法采用反膨胀先处理流程确保预算精确合规,并利用轻量形变采样器聚合稀疏消息以补偿空间上下文与姿态漂移。在 OPV2V、V2XSet 及 DAIR-V2X 数据集上,SEC 在 64KiB 严格预算下均取得最佳 [email protected] 性能。
针对渐进式神经坍缩分类器在持续学习中出现的“路由漂移”现象,研究提出 Reliability-Calibrated Routing(RCR)轻量级后处理分类器。该方法在不重训表征的前提下,通过结合标准化 ETF 对齐与径向合理性证据,显著修复了全局路由损失。实验显示,其在五分之六的设置下实现了最优 Class-IL FAA,最大提升达 +6.75 FAA,并有效降低了所有六种设置下的类间遗忘。
本文介绍 Visual Generative Lab (VGL),一个用于研究扩散模型如何学习和泛化基础视觉技能(如大小、位置、旋转、数量等)的受控实验框架。通过基于规则的合成数据训练,研究发现默认设计下模型的外推能力有限:尺寸和位置在训练范围外仅几像素即退化,数量泛化准确率约 50%,且组合泛化更依赖技能组合数而非数据集规模。代码与数据生成脚本已开源。
SpatialMind 提出 GeoFus 模块,通过门控网络动态调节浅层至深层几何特征以适配不同认知层级任务。该方法引入负熵正则化损失防止门控坍塌,在 VSI-Bench 基准测试中取得 72.3 的最优分数。源代码已公开提供。
SignAligner 是一个提示条件视觉语言跨度生成器,联合训练于 BOBSL 语料库的字幕跨度和单词跨度。经重叠奖励优化后,该模型在 BOBSL 测试集上达到 66.68 [email protected],优于同架构基线及交叉熵续写方法。其能根据手语位置动态定位查询词,无需依赖视频中心固定位置,支持字幕对齐与单词跨度生成以供人工审查。
DGV-DLIVO 提出一种针对水电溢洪道等长地下结构重复几何特征的自适应融合方法,利用激光雷达退化方向作为主动引导信号。实验显示该方法在手持或车载采集下保持连续运动估计,40 米隧道序列进度比达 91.4%,显著优于现有 LIO、LIVO 和 VIO 方法的停滞或发散问题。源代码与补充视频已公开提供。
该研究提出一种基于 nnU-Net 的自配置框架,通过复用分割模型的编码器特征与预测概率进行图像级分类。实验显示复杂配置未持续提升性能,最终方案在公开榜单 Overall 得分为 0.8056。该方法在 FLARE 2026 Task 2 四项测试任务中综合排名第一,DSC、NSD 及 AUROC 指标均最优,且推理耗时低于每例 60 秒、显存占用低于 4GB GPU。
针对现有基准依赖常识先验的问题,研究团队构建了ContraSense基准,通过反直觉图文对强制模型基于视觉证据推理。在包含开源与闭源多模态大模型的全面评估中,最强闭源模型准确率仅约60%,而人类参与者达到96.04%。该结果揭示了当前MLLMs在忠实视觉理解上的不足,ContraSense基准已公开提供。
SandBAR 是一种针对水下图像恢复的新型统一频带非对称架构,旨在解决光散射和浑浊导致的低频外观失真与高频细节丢失问题。该架构在块、编码器和目标层面组织频带不对称性,引入保留后注意力修复槽位的频带非对称三明治块及 SPARK 模块,分别对低频进行通道感知的大范围校正和对高频进行轻量局部细化。
PURE 是首个针对电商领域的多粒度多模态身份匹配诊断基准,涵盖感知、理解、推理及证据判断四个维度。该基准包含 1,457 道选择题和 14 个任务,验证显示跨十款最新多模态大模型的整体得分介于 47.1% 至 86.0%,揭示了现有模型在视觉差异定位与变体规则判断上的短板。
针对自然图像模型在超声扫描中语义提示不可靠的问题,DAP-MR 通过专用退化 token 与连续幅度路由器解耦类型与严重程度。该方法可无缝集成至单步或多步扩散框架,无需改变核心结构。实验表明,其在合成及真实无配对超声数据上均实现了更优的恢复质量与跨域泛化能力。
该论文提出 M3-Test,一种将干净输入与其单模态变体及完整联合扰动族对齐的覆盖率审计框架。研究发现,尽管四个视觉语言模型通过了 40 个单模态测试,仍有 26% 至 29% 的 Qwen 问题在联合扰动下失败,且仅靠最大强度角点无法消除此缺口。该工具支持将现有鲁棒性套件转化为请求级未测试账户,辅助接受度审查与回归分析。
arXiv 论文提出 Coupled Spectral Perturbation (CosPert),这是一种针对预训练文生图模型(如 FLUX.1、Stable Diffusion 3.5)的推理阶段创意增强工具。该方法通过一次敏感性分析识别注意力投影层,利用共享随机变换耦合奇异向量因子并扰动谱增益,无需额外网络或评估即可在采样时提升视觉多样性与物体结构变化,同时保持类别身份和提示词对齐。
SIDUMN 提出了一种针对均值一对称乘法噪声的自监督去噪框架,通过采样独立合成噪声因子构建互补噪声图像进行训练。理论证明该方法的反义平均策略不会增加单输入重建的预期平方误差,数值结果验证了理论发现及所提方法的有效性。
Cross-Modal StateKV Injection 提出一种通过视觉 token 位置的键值状态进行通信的框架,在 MLVU 和 Video-MME 数据集上相比文本通信基线实现了适度的准确率提升与更低延迟。该方案保留载体 KV-cache 长度并支持增加提供者侧帧覆盖以优化特定任务,相关代码与论文已作为预印本公开。
该论文介绍了一种名为 DWD 的方法,让微调后的扩散 Transformer 通过线性头直接输出最终像素,从而移除传统解码器以降低推理成本。实验显示,在 Wan 视频生成中该方法降低了 23% 的形变误差并减少闪烁;在文本到图像任务中将 ImageNet FID 从 1.55 提升至 1.43,成为像素流模型的新最先进水平。
针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。
推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。
针对伪装车辆检测难题,本文提出一种结合光谱、偏振和红外三模态的决策级共识融合框架。该方法在多孔径成像设置下,通过有界配准容差内的跨模态检测结果组合,降低了对精确像素级对齐的依赖,同时保持实时性能。
该论文提出了 PhyVGGT 框架,旨在从非校准的单目视频中重建具有可动部件的机械物体的三维结构、关节参数及未见过的运动状态。
论文 Cross3DGS 针对手持设备捕获场景需回传工作站训练的痛点,提出一种跨厂商、跨平台的 Vulkan 训练器。该方法在保留单一优化器的同时,根据设备限制和驱动表现动态选择执行计划,支持 NVIDIA、Intel、Arm、Qualcomm、AMD 及 Apple GPU(含 Android 与 iPhone)。
推荐理由:Cross3DGS 提出跨厂商 Vulkan 训练器,在移动端实现高质量 3DGS 训练并优于现有工具。
论文提出了 CoSphere-SLAM,这是首个针对全景相机的多智能体高斯泼溅 SLAM 框架。该方法利用快速傅里叶相关在任意方向对齐球面特征以解决对称房间误匹配问题,并通过全局 Sim(3) 共识剔除假闭环;同时采用方向性全局优化修正尺度漂移并分离光流与深度量级,最后通过全向高斯融合联合优化位姿与地图。实验表明其在室内及跨会话多智能体基准测试中达到了最先进的轨迹精度和渲染质量。
TRIDENT 模型通过单一骨干与三个并行解码器,高效完成去雾、深度估计及不确定性评估三项水下视觉任务。实验显示该模型在图像增强和深度估计上显著优于现有方法,且在内存占用与推理时间效率上更优。其联合学习方法展现了稳健的特征匹配能力,并实现了从二维到三维视觉任务的无缝扩展。
针对现有全合一图像复原方法中适应策略隐含于特征表示、导致清洁区域过平滑及局部退化校正不足的问题,论文提出了 ExplicitIR 模型。该方法通过空间策略估计器(SPE)预测两个显式逐像素字段:Budget 用于确定更新位置与强度,Style 用于选择窄或宽上下文窗口,并由策略自适应解码块(PADB)进行融合。
Joint-ID 是一种基于 Transformer 的神经网络,通过联合学习实现水下原始图像的感知质量增强与深度信息获取。该方法在合成及标准数据集上评估有效,并能在高浊度真实水下环境中进行特征匹配与显著性检测以辅助视觉引导机器人。论文由 IEEE Sensors Journal 于 2024 年发表,代码与权重暂未公开,仅允许个人使用。
ARG-Avatar 提出一种仅需 68M 可训练参数的高效前馈框架,通过 FACRoPE 与 ITR 管道利用几何对应关系提升重建质量。相比 LHM++,该方法参数量少约 9 倍、训练序列减少 4.8 倍且计算量降低 14 倍,推理速度快 6 倍并在 NeuMan 基准上 PSNR 提升 2.7 dB。
针对骨架数据向第三方分析工具传输时的身份泄露问题,本文提出 MIRAGE 方法。该方法通过注意力机制计算原始坐标空间的残差并逐帧添加,无需目标骨架即可在线处理。
SRED 方法在无切片级标签下,利用稀疏自编码器从 20x 特征学习事件字典并蒸馏至 5x 编码器,实现与原生 5x 推理速度匹配且平均提速 11.58 倍。该方法在七个分类分级队列中平均宏观 F1 提升 1.1 点,五个生存队列平均 C-index 提升 1.7 点。该成果作为 CVPR 2027 投稿提交,代码与权重暂未公开。
论文 CueClash 通过构建渲染场景揭示视觉语言模型(VLM)在从图像推断三维关系时存在的线索冲突与深度压缩缺陷。实验显示,Claude Opus 5.5、GPT-5.5 和 Gemini 3.6 Flash 等模型在低推理努力下存在显著准确率差距,且其生成的俯视场景地图往往保留图像的深度缩短特性而非真实布局。研究还发现模型在处理 CV-Bench 照片中的可靠二维线索误导时也会失效。
推荐理由:该研究揭示了前沿 VLM 在从图像推断三维关系时存在的线索冲突与深度压缩缺陷,并量化了不同模型的表现差异。
针对以眼为中心的手部 3D 姿态估计器存在的边界漏检、遮挡误判和抖动问题,作者提出了 HandRSI 递归自改进框架。该框架通过编码代理迭代优化推理工具包,仅在综合指标提升且无显著退化的情况下接受变更,并利用选择性蒸馏监督无真值帧中的手部存在与时序一致性。
推荐理由:报告了递归自改进框架在边界漏检、遮挡和抖动上的效果,代码与评估器公开。