SL-Ground:面向细粒度开放词汇目标检测的句级定位方法
针对现有基于词元的开放词汇检测器难以处理完整组合描述导致的细粒度识别瓶颈,本文提出 SL-Ground 方案,将类别描述编码为完整的句级表示并直接对查询进行评分。研究构建了涵盖车型、品牌和具体型号的多粒度斯坦福汽车基准测试,结果显示在细粒度车型级别上,该方法在匹配训练候选采样下将平均精度从 14.5% 提升至 70.6%,在全词汇训练下达到 86.0%,同时保持了良好的开放词汇能力。
针对现有基于词元的开放词汇检测器难以处理完整组合描述导致的细粒度识别瓶颈,本文提出 SL-Ground 方案,将类别描述编码为完整的句级表示并直接对查询进行评分。研究构建了涵盖车型、品牌和具体型号的多粒度斯坦福汽车基准测试,结果显示在细粒度车型级别上,该方法在匹配训练候选采样下将平均精度从 14.5% 提升至 70.6%,在全词汇训练下达到 86.0%,同时保持了良好的开放词汇能力。
论文提出了名为 CorrCLIPv2 的统一免训练对象中心框架,旨在解决对比语言 - 图像预训练(CLIP)在开放词汇分割任务中受噪声类间补丁交互影响的问题。该方法通过解耦类间交互、利用自监督模型的空间相干特征计算注意力分数以减轻掩码不准确性,并设计细化机制同时增强空间细节与语义表示。
推荐理由:该工作提出无需训练的 CorrCLIPv2 框架,利用无标签图像构建记忆库并集成多 CLIP 模型,在多个基准上实现开放词汇分割的新最先进水平。
该论文介绍 CorrFlow,一个通过轻量级修正器复用流匹配中间信息的自修正框架。在直化流插值下,该方法利用基模型预测误差与速度残差的关系,学习预测残差修正并加到采样更新前,无需额外评估基模型。理论分析表明特征复用优于原始输入仿射预测器,且修正训练比继续训练基模型更能降低风险。实验显示在类条件图像生成、文生视频和图生视频中均提升了视觉质量与物理一致性。
推荐理由:提出 CorrFlow 框架,利用轻量级修正器复用流匹配中间表示以改善生成质量与物理一致性。
针对大规模预训练模型中可迁移知识与任务特定知识纠缠的问题,本文提出知识分流(KDiv)范式。该方法在预训练前将随机初始化权重分解为秩一的知识单元,并组织成学习基因和尾部模块;通过连续的条件感知路由机制,在预训练过程中将跨条件的共享知识聚合到学习基因,而将条件依赖的变化导向尾部模块。实验表明,该模型在类、文本及图像条件下的生成任务中,能以与低秩适配方法相当的参数预算实现最强的平均下游性能。
推荐理由:提出知识分流预训练范式,通过结构化权重分解实现生成先验与条件知识的解耦复用。
本文研究如何将 3D 可变形模型的参数空间方差映射到每个顶点的方差。传统采样或误差传播方法计算成本高,作者提出闭式局部不确定性估计(CLUE),利用全方差定律进行近似,具有模块化、低成本和高精度特点。实验表明,CLUE 在关节、网格和不确定性评估指标上优于概率及确定性基线,且不确定性与误差的相关性最高。代码已开源,并附带高分辨率不确定性图以增强回归器。
IntriAdapt 提出了一种无需深度传感器或外部先验的测试时自适应(TTA)框架,通过最小化相机内参与点云视线的几何残差来优化冻结基础模型上的轻量级 LoRA 适配器。该方法在十个单张图像及七个序列基准上均优于未适配和理想内参基线,且单次序列适配即可泛化至同相机其他视频序列并支持前向推理。相关代码与论文已作为实验性预印本发布于 arXiv。
针对开放域视频超分辨率任务中现有数据集语义不平衡且多样性不足的问题,作者构建了包含约 2.7 万视频的 SCOPE-VSR 数据集及测试集 SCOPE-test。
针对视觉 - 语言 - 动作(VLA)模型在车载实时推理中参数规模过大导致能耗高、续航受限的问题,本文提出 Scene-Adaptive VLA 框架。该框架利用动态层路由机制,根据场景感知复杂度和决策偏差分配预算,从而调整活跃参数比例并选择适当的层组合。
针对缺乏人工标注的岩石薄片识别难题,XPP 方法利用偏光显微镜下同一视场的正交偏振(PPL)与交叉偏振(XPL)图像配对,迫使模型依据颗粒形状和纹理而非颜色进行匹配。在南京大学包含 108 种岩石类型的数据集上,该方法在三个随机划分中平均表现最优,效果等同于监督学习训练 78 种已知类型岩石的模型。研究还提出替代早期工作的跨切片协议,并证实色彩增强等常规手段无法复现该增益。
Video-EMem 通过时间锚定感知观测构建可进化视频记忆,将存储量平均减少约 99.86%。在冻结底层模型前提下,其演化策略使 Qwen3-VL-30B 在三项长视频问答基准上平均准确率提升 2.6%,相比直接输入 2,048 帧效果更佳。该架构使用与最先进智能体方法相同的 o3 回答模型,在降低单次查询延迟的同时,将平均准确率提升了 2.5%。
REUNION 提出一种超图引导的无源域自适应框架,通过对比超图编码高阶语义以解决恶劣天气下的可见度退化问题。该方法引入组级 Hyper-InfoNCE 目标优化表示,在多个基准测试中有效缓解域偏移并达到 SOTA 性能。该扩展版论文已接受于 NeurIPS 2026,共 20 页,涵盖计算机视觉与机器学习领域。
arXiv 发布了一篇关于动态空间音频驱动人体动作生成的研究论文。作者提出了 MOMO 框架和两个数据集(DySAM、DySAL)。MOMO 是一个基于扩散的框架,通过定位、理解和生成三个原则,利用原始双耳音频估计移动声源的空间方向并生成高保真的人体运动。材料为预印本,未报告真实机器人部署结果或具体性能数字。
针对现有低光照图像增强方法忽视频域振幅与相位固有耦合导致结构失真问题,研究提出联合建模频谱交互的框架。该方法通过双向互动的 APACF 模块实现频谱相干恢复,并利用中间结果提取高保真伪红外与梯度线索注入解码器以复原纹理。基准数据集实验表明,该方案在定量指标和视觉质量上均超越现有方法,代码已开源。
针对多光谱滤光阵列成像中的空间混叠问题,本文提出了 S3D-Mosaic 模型基去马赛克方法。该方法建立次梯度引导正则化框架以进行幅度不变的信息传输,并设计紧凑的方向稀疏等变差分卷积层提取高频结构特征。
针对多模态智能体长期记忆中存在重复观测且固定检索深度难以平衡信息量的问题,论文提出 PACE-Mem 方法。该方法构建互补证据序列并基于同一选择轨迹确定长度;对结构化记忆采用查询引导池化计算相关性得分与表征,利用最大边际相关(MMR)在查询相关性与重叠度间取得平衡,并通过比较归一化后的相邻下降值确定检索深度。
CRISP 是一种用于低光视频增强的递归框架,通过两帧架构利用时序上下文信息,并在训练中采用渐进式光照课程逐步提升亮度与色彩校正难度。该框架可选地融合冻结的 DINOv3 语义特征以辅助结构重建,无需微调基础模型。在 DID 和 BVI-RLV 数据集上的实验表明,CRISP 在多项指标上优于对比方法且保持了计算效率。
推荐理由:该工作提出利用渐进式光照课程与冻结语义特征提升低光视频增强效果,为相关算法设计提供新参考。
PREEMPT 是一个全面评估框架,用于分析图像保护技术在单步及多步骤编辑工作流下的鲁棒性演化。研究揭示传统单步评估会掩盖退化行为,且语义类首修操作主导后续失效轨迹。该成果已接受 WACV2027,提供标准化协议以深入理解主动图像保护的长期动态。
Cotton-Vision 利用无人机影像和 Ghost Bottleneck、ECA 及 CSP 融合等轻量化架构,在巴基斯坦旁遮普省七块棉田采集的超 2700 张高分辨率图像上实现早期病害检测。该模型在独立测试集达到 97.7% 精度与 85.6% mAP@50,较 YOLOv5/v8/v11/v12、RT-DETR 等基线提升 10%-20%,为棉花种植提供可扩展预警方案。
针对高分辨率大视觉语言模型(LVLM)推理时的计算瓶颈,本文提出一种免训练的层级化 Token 剪枝框架。该方法利用查询引导在 LLM 块执行前进行动态预算分配:先在实例级根据视觉复杂度调整保留比例,再在裁剪图级别通过跨模态相似度分布预算,最后在 Token 级别结合投影特征与文本查询嵌入计算细粒度对齐分数并去偏。
针对多模态大语言模型(MLLMs)回答二元临床问题时阈值固定且隐式的问题,本文提出一种方法:通过单次前向传播对 yes/no 概率进行重归一化以生成连续决策分数,从而无需重新训练即可根据临床需求调整阈值。
推荐理由:该方法通过单次前向传播归一化概率,实现无需重训即可调整决策阈值,在多个医学影像数据集上提升了分类性能与推理速度。
论文提出了 Anchor-WM 方法,利用预训练的 DINO 特征作为教师来学习紧凑的潜在状态,而非直接将其作为世界模型的状态空间。该方法通过动作条件化的动力学学习和仅用于蒸馏的训练头,在保留视觉信息的同时避免表示坍塌。
推荐理由:提出用预训练特征指导学习紧凑潜在状态,在四个环境中实现最佳成功率并显著加速规划。
该研究在四个不同智能体环境中调查了多轮强化学习带来的任务成功率提升是否伴随环境 grounded visual question answering 能力的改善。
论文介绍 SituHOI,这是一个包含约 86 小时高质量筛选活动的大规模 RGB-D 数据集,涵盖 16 个室内房间及 18,429 条标注片段。该数据集将移动 RGB-D 相机记录与静态场景扫描、物体几何、语言描述及估计轨迹配对,利用扫描作为持久参考,结合相机定位、深度度量对齐、人体网格恢复等步骤,将所有几何标注注册到共享地板对齐坐标系中。
SPELUNKA 是一个自动化推理框架,能在无预定义子群、无人工监督及模型微调的情况下,自动识别视觉语言模型在检索任务中的意外分布偏差。该方法通过生成相关图像描述提取实体,并基于频率检测规则衡量属性在模型输出与全数据集分布间的过代表或欠代表现象。实验显示,SPELUNKA 在四个数据集上平均 AUROC 达 0.93,成功恢复合成与自然发生的虚假相关性,且优于基线方法发现强关联特征。
本文针对视觉语言模型中的视觉 Token 剪枝技术,提出了一种名为 QA-MBG 的新方法,旨在探索剪枝性能的理论上限而非仅优化特定算法。该方法将剪枝定义为在固定预算下选择一个共享的视觉 Token 子集以支持对图像的广泛问题分布,利用前沿 VLM 生成的辅助问答集近似效用,并通过冻结评估模型优化教师强制回答概率目标。
论文提出 VERDICT 插件框架,利用小型视觉语言模型对文档提取结果进行证据定位与置信度校准。实验显示,微调后的 VLM 在严格阈值下能保持高 AUROC,且开放权重模型比闭源 API 更能提供内部状态用于校准。材料为 NeurIPS 2026 录用论文,未涉及真实机器人部署或物理仿真场景。
STLQ 提出了一种将 IVF 聚类组织为有向森林的浅层多码本量化方法,通过复用局部重建信息在同等比特预算下实现比现有浅层 MCQ 更高的召回率。该方法虽增加了离线构建成本,但在线检索复杂度保持线性扫描水平,且与深层 MCQ 具有竞争力的召回 -QPS 权衡表现。代码已公开于 https URL,论文当前处于审稿中状态。
针对视觉语言模型在视觉文档检索中生成冗余 token 导致扩展性受限的问题,该方法提出基于不平衡最优传输的压缩框架,统一优化 token 重要性、语义冗余及覆盖能力。理论证明其运输成本上界可约束 MaxSim 检索误差以保障排序稳定性。ViDoRe V1 和 V3 基准实验表明,该方案在保持细粒度文档语义的同时,显著优于现有基线方法。
在获取标注数据成本高昂的场景中,视觉语言模型(VLM)可利用图像文本相似度生成伪标签进行无监督适配,但现有方法假设拥有包含所有类别名称的完整词汇表。本文提出 VI-UVA 框架,解决仅部分类名可用的问题:通过 Label Space Reconstruction (LSR) 从无标注数据重建潜在标签空间并融入提示微调,从而超越不完整词汇表的限制并减轻适应偏差。
该研究针对统一多模态模型(如 Janus-Pro-7B)在 LoRA 后训练中出现的跨模态遗忘风险,发现单次微调安全但连续三次微调会导致未训练能力严重退化。实验表明,通过固定未参与训练的模态头可完全消除这种坍塌,且不影响已学能力的获取。论文指出学习到的知识仍局限于自身模态域,例如从文本学到的威尔士语在图像生成中仅填补了 3% 的英威差距。
该论文提出自监督学习 pretext task 隐含建模物体共现统计的假设。研究通过三个分割数据集验证发现:视觉骨干网络捕捉物体类别,而投影头专门编码类别间的共现关系,且在对齐人类相似度判断上优于骨干网络。控制预训练期间的共现模式可显著加速类别级表征的涌现。该工作揭示了自监督学习的一个隐藏原则,为设计更有效的 pretext task 提供了新路径。
推荐理由:研究发现自监督预训练的投影头隐含编码物体共现统计,能加速类别表征涌现并优于骨干网络对齐人类判断。
针对眼底图像分割在域偏移下性能下降问题,该方法通过多任务 Dice 预测器评估伪标签质量并加权损失函数。实验表明,其在已知与未知领域均优于 Noisy Student 基线,尤其在视杯分割上表现更佳且保持泛化能力。论文已接受于 SIPAIM 2026,代码与数据许可状态待定。
作者发布了 ContraSafe-VL 数据集,旨在解决视觉语言模型在多模态安全对齐中视觉上下文监督不足的问题。该数据集为固定文本查询构建了对应的成对视觉情境以区分不同安全标签,并提供基于无害性与有用性的响应偏好对。实验表明,使用该数据集训练能提升跨模态安全识别能力并改善安全与过度拒绝之间的权衡,同时保留通用多模态能力。
推荐理由:该数据集针对多模态安全对齐中视觉上下文监督不足的痛点,通过构建成对视觉情境与响应偏好对,直接指导模型平衡安全性与过度拒绝。
针对文本到图像扩散模型编辑中固定引导尺度忽略修改程度差异的问题,该方法通过轻量神经网络预测最优实例特定 CFG 值。实验表明,在基准数据集上该方法显著提升 LPIPS 指标且未损害 CLIP-T 性能,有效解决了重复执行管道导致的推理效率低下问题。
针对统一框训练模型在高 IoU 阈值下缺乏几何精度的问题,本文提出结合信息论与统计形状分析的数学框架以量化每类几何复杂度。在此基础上开发轻量级后训练头 EAGLE,利用熵感知的更新进行边缘细化与定位重评分。在 MS COCO 和 Pascal SBD 数据集上的实验表明,该方法能预测掩码推导与标准框的精度差异,并在现有最先进检测框架上实现 +0.9 mAP50-95 点的提升且推理开销极低。
论文介绍 RhinoNet,一种基于单纯形复形的点云神经网络,能创建保持几何结构的高维点云嵌入。该模型处理数据集队列(data cohorts),将每个点云视为单纯形复形,利用 Vietoris-Rips 滤波学习边,并通过单纯形小波和 MLP 层计算潜在空间中的向量表示。
该论文研究了分层视觉 Transformer 中注意力功能的局部移动性,发现仅迁移头部不足,需联合适配周围表示边界并保留特定归一化与预处理才能维持功能。研究将 SegFormer-B5 的 120 个保留头从 40 个执行深度重组为 20 个执行枢纽,在布局匹配的恢复控制下,K20 架构达到 0.960686 mIoU,与 State120 对照无显著质量惩罚。
针对小型自主水面船舶(ASV)在反光、眩光和夜间等复杂环境下感知困难的问题,本文提出了一种结合可见光、长波红外和调频连续波毫米波雷达的上下文感知架构。该架构通过导航控制器提供校准后的障碍物概率与传感器状态,并能区分传感器失效与无目标观测。
针对终身智能体在生成、交互和内存预算紧张时的失效问题,论文提出 TokenWorth 轻量级在线框架,通过稀疏执行反馈学习查询依赖的记忆价值,并应用于检索与有界管理。实验显示该方法在三类环境及本地/API部署中均取得最高任务成功率且输出 token 最少。代码已开源。
推荐理由:提出 TokenWorth 框架,在资源受限下学习记忆价值以优化终身适应。
该研究提出 RoAR-VAE 模型,旨在解决视觉分词器在保持图像保真度的同时优化下游扩散模型学习效率的问题。方法上,移除原有扩散目标与生成块,转而利用受损潜变量进行语义特征预测(RobustAlign)和清洁图像重建(RobustRecon)。
推荐理由:提出 RoAR-VAE,通过鲁棒预测平衡重建保真度与下游生成学习性。