USI-Brain:通过空间数据驱动的视觉语言建模增强水下空间智能
针对水下散射和色度失真导致物体边界模糊的问题,该研究提出了一种连接视觉外观与物体级几何的空间数据引擎,生成了 427 万问答对用于训练 USI-Brain 模型。
针对水下散射和色度失真导致物体边界模糊的问题,该研究提出了一种连接视觉外观与物体级几何的空间数据引擎,生成了 427 万问答对用于训练 USI-Brain 模型。
该研究针对 3D Gaussian Splatting 继承结构光运动任意单位导致无法直接用于 AR 内容放置的问题,提出 METRIC-GS 选择性尺度估计器。
针对高内容多通道成像中实验配置频繁演变的问题,本文提出了 ChanSFormer,这是一种高效的 Vision Transformer,用解耦的空间 - 通道注意力替换了僵化的可学习通道嵌入,并引入独立通道 CLS token。该方法原生保留通道身份与跨通道信息流,在 JUMP-CP 数据集分类准确率上优于最先进方法 3.93%-4.27%,并在自监督设置下展现出卓越的跨数据集迁移能力。
推荐理由:提出 ChanSFormer,通过解耦空间 - 通道注意力解决多通道图像处理的通道依赖问题。
MotoVerse 是一个针对两轮车(MTW)的预测感知基准数据集,包含 949 个机动片段和超过 3.1 万个周围路 agent 的轨迹标注。该基准支持两轮车自身机动预判(ERMA)和交通 agent 轨迹预测(TATP)两项任务,并引入了针对动态自运动、弱交通结构和上下文遮挡的挑战分类学。
IntrAA-SD 任务针对共享 SDXL 骨干网络仅经微调的生成器(如 Juggernaut XL、RealVis XL),提供包含 140K 图像的基准数据集及基于风格条件 MoE 网络的基线框架。该工作利用冻结 CLIP 与高分辨率 LoRA-DINOv2 捕捉图像风格特征,在 WACV 2027 会议接受并开源代码数据。
论文提出 Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA) 框架,旨在解决现有联邦提示学习方法仅支持客户端级个性化而忽视样本间视觉差异的问题。
推荐理由:提出 FedIA 框架,将联邦提示学习从客户端级个性化推进到实例级,通过自适应融合模块提升跨域与标签偏斜下的性能。
论文介绍 Clips2Story,一种无需训练的 LLM 基流水线,能从视频片段池中根据用户指定关键词提取多模态描述符、检索相关片段并编排成连贯的故事板。研究构建了包含五个类别共 100 部长视频的合成评估数据集(通过场景切换检测打乱时序),客观与主观评测均显示该方法在叙事连贯性、关键词对齐和整体真实感上优于强基线。
针对传统二维病理切片丢失 Z 轴形态信息的局限,本文提出 PathoS2VD 框架,利用图像生成视频潜在扩散模型(I2V LDM)学习 Z 轴形态先验,将单张二维图像转化为包含合理形态变化的伪 Z 轴堆叠。研究引入先验保持混合微调策略以适应新域并保留先验,实验显示合成结果具有真实的跨平面连续性,并能提升前列腺癌分类性能。材料为预印本版本,已接受于 ACCV 2026。
针对透过玻璃拍摄的单图去反光任务,本文提出 CLEAR 框架,利用预训练潜扩散模型作为自然图像先验,并通过物理引导分离器和混合特征对齐模块处理反射干扰。该方法在六个真实世界基准测试中取得了最佳的平均保真度和感知指标,且在所有数据集上实现了最低的 LPIPS 分数。
推荐理由:提出 CLEAR 框架解决单图去反光难题,在六个真实基准上表现最佳。
该论文针对成像逆问题中的流匹配生成后验采样提出 FLINT 框架。现有方法将轨迹空间优化与源空间初始化视为独立设计,而本文证明二者存在内在耦合并推导了统一稳定性界限。FLINT 通过两步法实现:首先利用流形约束的邻近目标函数在少量迭代内建立高保真起点,随后在受限随机性调度下执行引导采样以防止优势被噪声侵蚀。实验显示该方法在多种逆问题中实现了感知质量的最优和计算效率的优越性。
推荐理由:FLINT 提出将初始化邻近性与采样随机性耦合的新框架,在保持高保真起点的同时通过受限噪声注入提升逆问题求解效率。
MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。
DecoupAttn 提出一种解耦稀疏注意力新范式,利用离线固定的位置块进行精确修正,通过语义簇补偿关键特征以消除跨步误差。该方法引入基于率失真目标的预算分配与缓存重分配策略,仅需少量校准片段即可实现免训练加速。代码将在提交后发布,论文包含 35 页正文、16 张图表及 35 个表格。
针对致密乳腺隐藏癌症问题,研究在 1,345 例恶性 CBIS-DDSM 视图上评估了 Grad-CAM、Integrated Gradients 和遮挡图的解释力。结果显示未调整时 Grad-CAM 峰值命中率在致密乳腺为 44%,非致密乳腺为 58%,主要差距由钙化灶病例组合差异导致,且模型对致密乳腺病灶依赖度较低。作者建议按分类器分别报告密度差距并纳入显著性与病灶依赖控制。
该论文提出了 Chronos 框架,旨在从文本和视觉条件合成高质量且视觉上逼真的视频,同时在多样化运动中忠实维持主体身份。针对静态身份对齐与时间可控性之间的张力导致身份漂移或动作抑制的问题,该方法统一了单段面部身份保持和多段顺序动作生成的时序公式,集成了语义提示锚定、视觉帧锚定和指标引导候选路由等机制。
针对数字人电商视频生成中产品外观、人物身份与整体风格难以兼顾的问题,本文提出 DualCast 框架。该方法通过双时空槽注入机制分离产品与人物的潜在特征,利用掩码引导的区域加权损失强化关键区域监督,并支持双图及单图生成模式。研究构建了包含 10K 视频的专用数据集进行训练,实验表明其在保持角色一致性方面表现优异。
该论文综述了海上水面车辆(MSV)在受限可见度条件下的导航安全问题,涵盖视频稳定、感知增强、目标检测跟踪及可航区分割等智能视觉方法,以及红外 - 可见光、雷达 - 视觉、LiDAR-视觉和 AIS-视觉等多传感器融合技术。作者总结了相关开源数据集与安全关键应用案例,并指出了当前挑战与未来研究方向。材料为预印本论文,未报告真实部署结果或具体性能指标。
针对现有全景锐化模型在未见传感器上泛化能力不足的问题,本文提出 ReTailor 框架。该方法仅通过轻量级残差模块在自监督、物理感知约束下快速优化,修正跨传感器差异而不修改已学习的主网络融合先验。
针对大语言模型生成的室内场景缺乏整体质量评估的问题,本文提出了 GREP 方法。其核心是将评估从特定问题转向建立三层哲学:基础物理有效性检查、视觉连贯性关注与人类使用逻辑对齐。
WayPOP 是一个全景开放集泛化追踪基准,旨在评估智能体对固定语义分类之外物体的分割与追踪能力。该基准基于真实的 Waymo PVPS 序列,并插入了来自 Objaverse 的约 670 个经过筛选的非分类资产(共生成 980 条唯一未知物体轨迹),利用车载相机渲染出包含 53,452 个掩码标注和激光雷达观测数据的跨视角一致数据。
推荐理由:该基准填补了全景开放集追踪的空白,揭示了现有方法在未知物体跨视角关联上的局限。
ME^2FDiff 提出一种单模型架构,通过注意力条件谱扩散块和多尺度专家增强特征块解决脑肿瘤分割瓶颈。在 BraTS 2024 后治疗胶质瘤数据集上,该模型在所有子区域均优于其他单模型基线(Dice 91.23%,HD95 2.13mm),且推理成本约为三专家集成模型的三分之一。
论文介绍了一种名为 CtrlFlow 的扩散模型推理时间引导新方法,旨在解决传统分类无关引导(CFG)需要双次前向传播的问题。该方法通过冻结骨干网络并附加两个轻量级 LoRA 适配器,在单次前向传播中同时输出可解释的基流和引导方向,从而保持与 CFG 相同的接口灵活性且无需重新训练。为对齐推理时的误差放大特性,工作采用了统一的多尺度蒸馏损失、尺度自适应调制和时间网格扭曲等技术来优化训练与求解过程。
推荐理由:提出单步引导方法 CtrlFlow,通过轻量适配器保留扩散模型的可解释基流与引导方向接口,支持推理时调节且无需重训。
针对视觉 Transformer 输入序列长度受限的问题,本文提出 Split Policy Learned Image Tokenization(SPLIT),该方法摒弃依赖像素统计的启发式规则,转而让模型根据任务相关信息自动分配 Token 分辨率。
针对医学图像标注成本高及对比学习易抑制关键细微特征的问题,本文提出将特征嵌入编码为概率分布的统一概率框架,以捕捉更丰富的信息语义。该方法在多个数据集的分割与分类任务上优于现有最先进方法,并验证了其在强增强鲁棒性、标签效率及计算权衡方面的优势。代码已开源,论文发表于 IEEE Transactions on Medical Imaging 2026 年。
GeoDIVE 将多分辨率卫星图像库视为森林,利用最佳优先遍历确定编码图块,在图像与开放词汇文本查询评估中,以 10% 的编码成本匹配穷举搜索效果并领先所有基线。研究团队还发布了基于 Microsoft 建筑足迹和 OpenStreetMap 多边形构建的 Git-10M 对象级图文查询数据,源代码与模型将公开。该工作已获 WACV 2027 录用。
Anchored Slice Propagation 利用正交标注平面校正传播漂移,将腹部结构平均 Dice 系数从 0.737 提升至 0.769。该方法在 506 个无器官标签的 CT 体积上学习轮廓追踪运动修正,并在 2,091 个独立测试实例中全面优于传统掩膜传播基线。
论文提出了 TRUST-Stereo 方法,通过不确定性引导残差搜索模块(UGRSM)修正粗到细立体匹配中的误差传播问题,并引入两阶段师生知识蒸馏策略将大基础模型的单目表征迁移至轻量骨干网络。
针对树皮图像树种自动识别,该研究在 BarkNet 1.0 数据集上通过树级防泄露划分方案,系统评估了 Patch 尺寸、聚合策略及骨干网络等设计选择。结果显示,512 px 补丁配合 nano 骨干网络可实现约 94.9% 的图像级准确率,且两阶段训练与大容量骨干网优势不显著。该工作为林业库存提供了可复现的配置参考基准。
论文 NitroFusion2 针对多模态扩散变换器(MMDiT)提出 Text-Stream Adversarial Distillation (TSAD) 和 Aspect-Cued Discrimination (ACD),利用文本流中间状态作为新的对抗表示并基于不同样本属性引导判别器。
针对铁路感知中轨道多边形等复杂几何要素手动标注耗时的问题,本文提出了 ARIDA 框架。该框架利用掩膜分割网络的实例预测结果,结合置信度阈值和独特的轮廓一致性评分作为验收门限,自动将预测转换为边界框、多边形及配对多边形。
针对现有视频识别方法依赖显式跨通道投影导致计算复杂度高、且时空表示偏向局部或全局单一顺序的问题,本文提出 VideoMogaNet。该方法引入并行多阶处理(仅使用深度卷积与隐式门控聚合)将复杂度降为线性,并提出时空双维度交互以优化表示而不增加成本。在 UCF101、HMDB51 等多个基准测试中,其性能达到或优于最先进方法,同时显著降低了时间分支的计算成本。
arXiv 发布论文 CAPTOR 提出一种无需文本编码器的图像定位方案,通过将冻结图像编码器的 patch token 聚类为视觉词汇并计算词频差异来构建矩阵。该方法在 COCO、Pascal VOC 和 Cityscapes 数据集上均优于无文本编码器基线,且在乳腺癌病理切片测试中超越最强基线。
论文提出了 GaussianRenderFormer,这是一种无需传统光栅化器的神经网络渲染器,将每个高斯球作为独立 token 进行视图无关编码,并通过视图相关解码器将相机射线片段转换为像素。
Zucan Lyu 等人发布 VisionValueBench 多语言基准,评估六种霍夫斯泰德文化维度在文本到图像生成中的表现。研究涵盖 960 个社会场景和六种模型配置,发现即使提示词中立,生成的图像也倾向于特定的价值观取向(如平等优于等级),且地理线索仅部分改变这些倾向,揭示了全球 T2I 系统传达的文化价值观存在显著同质性。
该论文介绍 ChangeJEPA 架构,将遥感变化检测从传统的 Siamese 特征对比重构为基于潜在后状态的预测任务。给定前时相图像和部分后时相证据,模型在结合先验假设与观测上下文中预测完整后时相表示,并通过联合嵌入预测损失对齐假设以抑制瞬态外观差异。
Krishnakumar N 和 Jaya Sreevalsan-Nair 在 arXiv 发布论文,研究了将认识不确定性作为特征输入或损失函数权重在 3D LiDAR 点云语义分割中的不同作用。
推荐理由:该工作探索了认识不确定性在语义分割中的多重角色,发现其不仅能提升精度,还能恢复基线模型无法预测的少数类。
该论文诊断并修复了对比式视觉语言模型在空间关系(如左/右)上的失效问题,发现其成因包括聚合层无法访问或丢弃几何信息。作者提出一种零参数的查询条件化方法,从补丁网格中重新计算几何结构并存储为向量。
论文提出了 Bio-VQA,这是首个涵盖分类学推理、细粒度属性定位、定量空间推理及个体重识别四大维度的生物视觉问答基准。该基准包含 1.86M 个问题与 217K 张图像,评估了 3.75B 至 38.4B 参数的 18 个开源模型。结果显示通用视觉能力无法有效迁移到生物领域:动物计数准确率仅为日常物体的不到一半,分类学精度随层级细化大幅下降,且在个体重识别任务中多数模型表现低于随机猜测水平。
针对稀疏自编码器(SAE)在解释视觉表示时因多特征重叠导致证据模糊的问题,本文提出重构性 SAE 干预(RecSAEI)框架。该方法通过在 SAE 解码器方向上进行主动干预并重建视觉输出,直接揭示特征的语义含义。研究展示了该方法能在多个数据集和视觉编码器中成功消除歧义,并将 [CLS] 干预锚定在稀疏的补丁解码器方向上,同时暴露基础视觉模式与高层语义间的组合关系。
该论文介绍了一种名为 FlowShift 的参数高效后训练框架,旨在解决统一多模态模型(UMMs)中离散分词导致的视觉细节损失问题。该方法通过将预训练的离散 UMM 转化为连续校正流生成器,并引入双重目标速度向量蒸馏(DOVD)技术对齐高保真教师模型与真实轨迹,从而在大幅提升感知质量的同时保留提示遵循度和推理能力。
针对 CAD 模型非规范朝向导致现有网络鲁棒性不足的问题,本文提出 SO3brep,这是一种在 B-rep 面邻接图上运行的 SO(3)-等变图神经网络。该方法通过 Wigner D-矩阵将局部特征映射至共享帧,并利用 Clebsch-Gordan 张量积耦合相邻面方向以保留相对取向,确保输出对 SE(3) 变换不变。
推荐理由:提出 SO3brep 图神经网络,利用 Wigner D-矩阵与 Clebsch-Gordan 张量积在 B-rep 上实现 SE(3) 不变性,在少样本 CAD 分割任务中表现最优。