Teach with Blinks:一种用于细粒度多模态感知的在线策略蒸馏新方法
针对在线策略蒸馏(OPD)中教师模型易受学生错误前缀影响的问题,论文提出 Blink On-Policy Distillation (BlinkOPD) 方法。
针对在线策略蒸馏(OPD)中教师模型易受学生错误前缀影响的问题,论文提出 Blink On-Policy Distillation (BlinkOPD) 方法。
FuGIBench 是一个流式视频基准,用于评估模型在因果视频前缀和任务契约下,于等待、可逆准备及响应之间的决策能力。该基准包含 19,893 条合成工具辅助视频,覆盖交接、普通活动及取消需求三个轨道。主要评分指标奖励持续准备并惩罚无谓活动,实验显示较长的准备领先时间会导致较差的响应对齐度。
该论文针对通用多模态融合中冗余证据被放大、独特证据被平滑及协同证据激活不足的问题,提出 RADIANT 框架。该方法通过稳定矩阵指数投影减少共享与独特流之间的干扰,并利用带硬正样本更新的记忆机制选择当前融合模式下的协同交互。实验显示,在 FLIR 数据集上,其下游检测 [email protected] 从 91.2% 提升至 96.8%,且具备跨数据集迁移能力及推理时任务记忆适配效果。
针对少样本设置下预训练视觉语言模型(如 CLIP)难以捕捉细粒度诊断信息的问题,本文提出一种描述引导的两阶段 CLIP 适配方法。该方法利用症状和对比描述丰富类语义,指导聚合与类别相关的局部图像块证据以校准全局匹配。
推荐理由:提出描述引导的 CLIP 两阶段适配方法,通过症状与对比描述增强语义并校准局部证据,在少样本植物病害识别中实现最高平均准确率。
针对生成式图像编辑带来的来源归因与篡改验证难题,本文提出 ReliaGuard 框架。该方法通过优化受保护图像及其变分自编码器重构下的键控特征响应,在图像失真和源保持约束下工作;仅凭接收到的图像和密钥即可结合局部上下文预测编辑掩码。
论文介绍 Hand in Silhouette (SilHand) 框架,利用低成本获取的二值手部掩码替代 RGB 特征进行 3D 重建,以缩小合成数据与真实数据的观察差距。该方法在包含 4.68 万个抓取姿态和 6 万个自由手势的大规模合成数据集上训练,并在五个现实基准测试中将相对重建精度从 49.2% 提升至 63.4%,且对掩码噪声具有鲁棒性。
推荐理由:该工作提出基于二值掩码的仿真到现实手重建框架,通过掩码射线证据融合缩小外观差距,在五个基准测试中相对精度提升显著。
SGVD 是一种基于不确定性感知的扩散框架,通过双步预测估计区域级恢复不确定性以自适应激活生成先验。该方法利用锚引导轨迹一致性机制减少帧间漂移,仅需单步推理即可在去雨任务中实现优于最先进方法的感知质量与时间连贯性。
DEDCA 提出一种利用双证据分歧进行无标签自适应的检测框架,结合 CLIP 语义特征与打乱熵残差统计迹证据。该方法在 GenImage 基准上平均准确率达 92.0%,优于现有最先进检测器及测试时自适应方法。
针对低分辨率红外图像中多热源重叠导致的模糊与幻觉问题,论文提出了 FlowIR 框架。该方法利用伪三维深度提升和深度引导的三维卷积分离前景物体,并通过簇间注意力抑制特征污染,辅以热几何一致性损失强化对齐。基于轻量级校正流骨干网络,FlowIR 仅需少量步骤即可生成边界清晰、抗退化且几何保真的高分辨率红外图像。该工作已接受至 2026 IEEE ICME 会议。
论文提出了 ReCan-GS 框架,旨在从随意视频中重建动态场景并抑制瞬态遮挡物、阴影和体积效应。该方法基于学习到的变形场推导雅可比矩阵以计算变形敏感度分数,以此作为重建模糊性的经验代理,指导将内容分离为动态核心高斯和每视图干扰项高斯,或进行后处理剪枝。实验在合成与真实动态场景及烟雾/雾场景中验证了其在不同干扰制度下的有效性。该工作已被 WACV 2027 接收。
基于 Voltera NOVA 平台的参数化直接墨水书写流程,在 PET 和 TPU 基底上实现了含多层 Velostat 及全印刷碳架构的柔性力传感器。实验显示单层至六层 Velostat 器件呈现强非线性响应,最佳线性拟合 R²介于 0.475 至 0.641 之间,且无一致单调关系;八层印刷碳器件主要在 2 N 以下有效工作。
arXiv 发布了一篇关于 ATune 模型的论文,该模型仅需利用商业图库中的百万级原始照片及模拟损坏版本进行训练,无需任何专家标注数据。研究展示了 ATune 如何驱动 RawTherapee 和 darktable 等编辑器调整滑块以优化亮度、对比度等属性,并在用户研究中击败了 GPT-6 Astra 及其他监督学习模型。
推荐理由:该预印本提出无需专家标注的无监督修图方法,在用户偏好测试中表现优异。
该论文提出了 Disentangled Embedding Optimization (DEO) 框架,旨在通过扩散模型将大规模数据集压缩为合成子集。针对现有聚类方法导致类别内样本纠缠、降低数据多样性的问题,DEO 用可训练的嵌入替换静态聚类,并优化其高斯统计特性以匹配原始分布,同时引入多样性正则化增强类内变异性。
SPEM 是一种利用扫描先验熵建模进行激光雷达几何压缩的新框架,无需将编码几何转换为球面或束对齐坐标系。该方法通过多频球形旋转位置编码及解码记忆自回归预测器,在保持原始笛卡尔几何精确恢复的同时,实现了有损与无损压缩的最先进性能。
针对非道路环境多相机观测可靠性差异大的问题,提出 QVS-LIVO RiskMap 系统,将状态估计中的视觉处理与语义建图解耦。前端基于共享激光雷达 - 惯性后验进行只读预跟踪以评估观测健康度与几何互补性,利用通道健康记忆和切换迟滞选择至多一个视图进行光度校正;后端在共享世界网格中融合所有可用视图的语义观测。
推荐理由:提出 QVS-LIVO RiskMap,通过解耦视觉处理实现多相机状态估计与语义建图,在越野环境下提升鲁棒性与实时性。
论文介绍 GOOSELoc 基准,包含德国慕尼黑四季采集的 9,356 个场景,配对地理配准航空正射影像、环视 RGB 图像与 3D LiDAR 点云。研究对比了四种现有跨视角定位基线在越野环境下的性能下降情况,并提出结合环视图像与 LiDAR 几何的多模态基线以提升定位效果。数据与基线已开源。
论文提出 split-and-scale 方法解决潜在表示在捕捉复杂物体细节上的局限。核心思路是将 3D 场景视为坐标的连续函数,利用预训练 tokenizer 在推理时对任意小区域进行局部化分配,使相同潜在容量服务于更小空间范围从而提升细节表现。实验表明该方法在计算、内存与重建质量间取得平衡,生成的 3D 模型质量可与更大规模模型竞争,且支持高质量的自回归 3D 生成建模。
针对仅检测位置未评估严重性的痛点,该研究提出结合几何测量与 Gemini 2.5 Pro 的五阶段离线框架。在 1,119 个行车记录仪场景的 3,092 个坑洼测试中,相比纯图像基线,该方法将高紧急度场景移出 26.7%,关键等级分配提升 109%。每场景成本为 0.105 美元,其机动建议仅作为研究参考而非车辆引导指令。
BiScopeNet 是一种无需修改视觉编码器或语言模型的视频大语言模型增强框架,通过 FocusAlign 模块和 MetaLoss 损失函数实现左/右手角色及操作物体的显式识别。该框架基于 BiScopeCap-100K 数据集在多个视频大语言模型骨干上进行了评估,在子动作检测任务中取得了优于对应监督基线的最强聚合性能。相关研究已获 BMVC 2026 接收,代码与数据许可状态待进一步确认。
针对现有 4D 高斯泼溅在处理切割、组装等拓扑变化时产生严重伪影的问题,本文提出 TopoEgo 基准和 Topo-4DGS 方法。Topo-4DGS 通过为交互部件分配独立刚性变换并动态激活/停用高斯点来联合建模部件级运动与随时间变化的表面支撑。实验表明该方法在拓扑变化场景下显著优于现有最先进方案,代码和数据将公开。
Iris-Z 是一个通用图像生成器,能在同一骨干网络中同时生成外观和几何信息、从照片估计深度以及将图像绘制到给定深度上。该研究验证了统一架构在单目几何任务上的可扩展性,表明其在不增加专用层的情况下,于既定深度基准上超越了最先进专用模型。作者开源了两个版本的模型供社区使用。
该研究提出利用视觉语言模型嵌入差值在潜在空间搜索语义变换,构建了包含 64+ 事件类型、约 200 万张图像的全球最大卫星事件数据集。所提模型以 93.5% 最高 F1 分数检测变化,预测事件检索性能优于基线 3.6 倍,且能在完工前九个月将完成日期预报误差控制在三天以内。代码与论文将于 NeurIPS 2026 发表。
针对 FPS 游戏《Counter Strike: Condition Zero》中的目标检测任务,该研究对比了 YOLOv5s 与语义分割模型,发现后者虽推理稍慢但形状识别更优。
论文提出 TRACE 方法,旨在解决现有文本到视频模型在高分辨率下训练成本高且无训练方法细节丢失的问题。该方法通过同步低分辨率与高分辨率的生成轨迹,在去噪早期阶段对齐场景内容,利用低分辨率预测计算高分辨率更新而无需进行高分辨率模型推理。
该论文提出 DuoJEPA 框架,通过在每个模态编码器后附加变换层实现跨模态翻译,而无需直接比较两个嵌入空间的损失函数。实验表明,在 CheXpert Plus 数据集上该方法实现了 86.6 的零样本 AUC 和 78.5 的检索分数;在 Sentinel-2 与 Sentinel-1 遥感影像对上,冻结编码器下的跨模态检索成功率介于 77% 至 79%。
推荐理由:提出无需直接对齐嵌入空间的跨模态翻译架构,在医学影像与遥感数据上验证了零样本检索性能。
该论文针对环境中的隐蔽物体查找问题,提出了 concealment-adaptive mixed-observability MDP(CA-MOMDP)框架及 COMBS-score 评分机制。
该论文提出 Lang-SVG 方法,旨在将位图重构为紧凑且可编辑的 SVG 矢量图形。针对现有方法缺乏语义层级对齐的问题,该方法引入显式树结构组织 SVG 原语,利用粒度可控和开放词汇分割先验初始化对象部分层级,并结合多模态大语言模型(MLLMs)分配语义标签。
论文提出了 Open Vision Banana (OVB),这是一种将预训练图像生成器转化为统一多任务感知系统的完全开放且可复现的配方。研究分析了颜色编码、提示设计等关键设计选择对泛化性的影响,并指出这些选择存在交互效应。
推荐理由:作者提出完全开放的生成式视觉感知配方,公开数据集处理与训练代码,复现并超越了闭源基座模型的性能。
该论文针对无人机航拍图像在监控、灾害响应等应用中面临的视角变化大、小目标多及实体模糊等挑战,指出现有 MLLM 生成的描述易出现幻觉且传统检测方法计算成本高或忽略不确定性。
VibePrevisBench 基准通过 242 项任务,涵盖脚本、照片及续写等输入,利用基于规则的场景检查与视觉语言模型屏幕检查双重维度,量化了 11 个前沿编码智能体在空间理解与相机运动方面的表现。分析发现所有智能体虽掌握基础运镜却难以应对挑战请求且无法修正渲染错误,表明当前智能体亟需提升对空间与相机的视觉理解及逐项验证能力。
论文提出 PriorSplit 方法,旨在解决视觉语言模型(VLM)智能体在部署时因帧缺失或顺序异常导致记忆失效的问题。该方法通过记录训练集中相邻步骤的出现频率作为外部先验,当模型无法同时看到所需帧时利用该统计信息回答,从而无需额外训练即可保持对任务顺序的记忆。
AIFR 通过插入轻量级模块在冻结人脸识别模型中间层预测样本级校正强度,实现无需参考图且无需重编码的嵌入恢复。该框架仅含 1.22M 可训练参数,将 FAR=10^-4 下的平均 TAR 从 ArcFace 基线的 66.1% 提升至 90.2%,并兼容 Arc2Face 生成任务。
该工作将图像去混合建模为联合逆问题,提出免训练框架,通过文本引导的潜在扩散模型进行语义分离,再经像素空间细化恢复细节。实验表明该方法在未见域达到最先进水平,支持空间变化 alpha 图且与监督基线竞争。论文已接受 WACV 2027,代码与数据待开放。
研究团队构建了一套无需训练的视觉语言模型系统,针对 ECCV 2026 EBMV 挑战中的事件流理解任务。该系统利用冻结的 Qwen3.5 9B 模型处理四类任务,仅在动作识别上使用 EventGPT-Plus-2B,在 2,084 个测试问题中整体准确率达 62.28%(排名第 9/27)。分析显示手势识别与事件 OCR 表现受限,且详细理解预测存在选项偏差。
CGOcc 是一个监督多相机框架,通过显式建模跨高斯依赖解决重叠原语导致的类别预测模糊问题。该方法在 nuScenes 数据集上实现了最先进性能,在高高斯重叠率和边界区域表现更佳。消融研究验证了协方差感知预测与几何交互的协同有效性,论文代码及权重暂未公开。
FLIC(Frequency-Lipschitz INR Curriculum)提出一种容量可控的自先验隐式神经表示框架,通过联合频率-Lipschitz 课程引导网络从稳定全局解剖结构逐步恢复精细细节。
针对现有流式视频理解基准无法区分模型因遗忘导致的错误与视觉理解失败或语言先验干扰的问题,作者提出 MemInStream 基准。该基准通过证据控制验证协议,将问题关联到时间局部化证据区间,并保留那些仅凭近期观察、文本输入或事后观察无法解决但需历史证据才能回答的问题,从而解耦记忆限制与理解缺陷。
推荐理由:提出证据控制验证协议,解耦记忆能力与理解失败,为流式视频理解提供可靠评估基准。
针对光子计数 X 射线成像中探测器模块拼接产生的视野间隙,研究适配了 WGAN-GP 与 Pix2Pix 两种生成模型进行插补。Pix2Pix 在保持强度统计不变的前提下,实现了最佳的感知相似度且训练 GPU 小时数约为 WGAN-GP 的五分之一。最终模型的源代码与权重已公开,适用于相位检索或断层重建等下游处理任务。
CBRL 模型联合优化 SimCLR 风格对比学习与双向 BYOL 风格目标预测,在仅使用下游 10% 标签的 ViT-L/16 骨干网络上,于 DeepWeeds 基准达到 79.77% 宏观 F1,比随机初始化基线高 32.29 个点。该研究虽未确立统计优越性,但为标签稀缺场景提供了有前景的联合公式候选方案。论文已接受发表于 ICACIN 2026,代码与数据许可状态待定。
Cat Royale Comprehensive Dataset(CRCD)基于超 500 小时视频,提供含 2 万张实例分割掩码及 800+ 段动作描述的标注数据。该数据集首次将多种注释类型链接用于多模态任务,并附带实例分割、姿态检测等基准测试工具。相关代码与工具已开放以支持持续扩展,论文已提交至国际计算机视觉期刊待审。