多模态大推理模型中的推理感知跨模态关联遗忘方法
针对多模态大推理模型通过视觉输入访问敏感信息的隐私问题,研究提出 Visual-Keyed Counterfactual Rebinding 框架以进行跨模态关联编辑。
针对多模态大推理模型通过视觉输入访问敏感信息的隐私问题,研究提出 Visual-Keyed Counterfactual Rebinding 框架以进行跨模态关联编辑。
论文揭示现有粗到细框架在推理阶段存在坐标引导与几何监督的分辨率不匹配问题,导致细节退化。为此提出 RDT 方法,将 RoPE 引导锚定在 512 分辨率并在 1536 分辨率下监督几何,以增强细节外推能力。同时开源 Dual3D-300K 大规模配对数据集,包含 30 万个跨分辨率对齐的封闭三维点云,为高解析度三维生成提供基准。实验表明该方法显著提升了锐利几何区域的生成质量。
SPIRN 提出首个结合语义先验引导的跨模态检索框架,通过 SPG、QRL、PGLC 及 CSI 四个模块协同处理模态缺失与标签噪声。在四个基准数据集上,该方法在含缺失模态和噪声标签场景下超越 11 种最先进方法。该工作为 cs.CV 领域预印本,代码与数据许可状态待官方进一步开放。
该论文针对领域增量学习中适应新域导致旧域遗忘的问题,提出通过监测表征漂移来分配记忆保存策略的方法。研究利用 JEPA 架构在骨干网络特征空间存储紧凑上下文摘要,计算其与固定锚点的偏差以量化遗忘风险。
针对文生 SVG 系统常用光栅化指标评估但难以捕捉细粒度提示忠实度的问题,作者提出 SVGFaith 二层元评估框架。该框架包含 SVGFaith-Diagnostic(1,842 个受控对比对)和 SVGFaith-Arena(1,327 个人类标注比较)。
针对大视觉语言模型处理多张输入图像时视觉 Token 预算激增的问题,现有基于注意力的剪枝方法在多图基准上表现不佳且存在位置偏差。本文提出 RI-Prune,这是一种无需训练、不依赖注意力机制的预解码器选择器。
推荐理由:针对多图像场景下注意力机制失效问题,提出无需训练的 RI-Prune 方法,通过查询相关性与跨图对应关系实现更优的视觉 Token 剪枝。
DeepfakeGenome(DFG)提出了一套包含 100 种人脸伪造算法和 200 万图像的综合检测与归因基准,规模是此前 DFA 基准的 4 至 100 倍。
MotoVerse 是一个针对两轮车(MTW)的预测感知基准数据集,包含 949 个机动片段和超过 3.1 万个周围路 agent 的轨迹标注。该基准支持两轮车自身机动预判(ERMA)和交通 agent 轨迹预测(TATP)两项任务,并引入了针对动态自运动、弱交通结构和上下文遮挡的挑战分类学。
论文提出 Federated Prompt Learning with Instance-Aware Cross-Modal Representations (FedIA) 框架,旨在解决现有联邦提示学习方法仅支持客户端级个性化而忽视样本间视觉差异的问题。
推荐理由:提出 FedIA 框架,将联邦提示学习从客户端级个性化推进到实例级,通过自适应融合模块提升跨域与标签偏斜下的性能。
针对传统二维病理切片丢失 Z 轴形态信息的局限,本文提出 PathoS2VD 框架,利用图像生成视频潜在扩散模型(I2V LDM)学习 Z 轴形态先验,将单张二维图像转化为包含合理形态变化的伪 Z 轴堆叠。研究引入先验保持混合微调策略以适应新域并保留先验,实验显示合成结果具有真实的跨平面连续性,并能提升前列腺癌分类性能。材料为预印本版本,已接受于 ACCV 2026。
针对离线强化学习中回放缓冲区被常规操作主导、罕见关键事件采样不足的问题,本文提出一种无需标签或奖励的统计杠杆分数评分机制。该方法首先筛选长尾特征列以捕捉异常分布,其次放弃重要性权重修正而直接优化重平衡目标,最后将规则应用于相对目标的短轨迹窗口以恢复关系信号。在需绕过障碍物推物体的三关节机械臂实验中,任务成功率从 0.49 提升至 0.69,接近有标签oracle的 0.74 上限。
MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。
该论文综述了海上水面车辆(MSV)在受限可见度条件下的导航安全问题,涵盖视频稳定、感知增强、目标检测跟踪及可航区分割等智能视觉方法,以及红外 - 可见光、雷达 - 视觉、LiDAR-视觉和 AIS-视觉等多传感器融合技术。作者总结了相关开源数据集与安全关键应用案例,并指出了当前挑战与未来研究方向。材料为预印本论文,未报告真实部署结果或具体性能指标。
论文介绍了一种名为 CtrlFlow 的扩散模型推理时间引导新方法,旨在解决传统分类无关引导(CFG)需要双次前向传播的问题。该方法通过冻结骨干网络并附加两个轻量级 LoRA 适配器,在单次前向传播中同时输出可解释的基流和引导方向,从而保持与 CFG 相同的接口灵活性且无需重新训练。为对齐推理时的误差放大特性,工作采用了统一的多尺度蒸馏损失、尺度自适应调制和时间网格扭曲等技术来优化训练与求解过程。
推荐理由:提出单步引导方法 CtrlFlow,通过轻量适配器保留扩散模型的可解释基流与引导方向接口,支持推理时调节且无需重训。
针对医学图像标注成本高及对比学习易抑制关键细微特征的问题,本文提出将特征嵌入编码为概率分布的统一概率框架,以捕捉更丰富的信息语义。该方法在多个数据集的分割与分类任务上优于现有最先进方法,并验证了其在强增强鲁棒性、标签效率及计算权衡方面的优势。代码已开源,论文发表于 IEEE Transactions on Medical Imaging 2026 年。
论文 NitroFusion2 针对多模态扩散变换器(MMDiT)提出 Text-Stream Adversarial Distillation (TSAD) 和 Aspect-Cued Discrimination (ACD),利用文本流中间状态作为新的对抗表示并基于不同样本属性引导判别器。
针对铁路感知中轨道多边形等复杂几何要素手动标注耗时的问题,本文提出了 ARIDA 框架。该框架利用掩膜分割网络的实例预测结果,结合置信度阈值和独特的轮廓一致性评分作为验收门限,自动将预测转换为边界框、多边形及配对多边形。
Zucan Lyu 等人发布 VisionValueBench 多语言基准,评估六种霍夫斯泰德文化维度在文本到图像生成中的表现。研究涵盖 960 个社会场景和六种模型配置,发现即使提示词中立,生成的图像也倾向于特定的价值观取向(如平等优于等级),且地理线索仅部分改变这些倾向,揭示了全球 T2I 系统传达的文化价值观存在显著同质性。
Krishnakumar N 和 Jaya Sreevalsan-Nair 在 arXiv 发布论文,研究了将认识不确定性作为特征输入或损失函数权重在 3D LiDAR 点云语义分割中的不同作用。
推荐理由:该工作探索了认识不确定性在语义分割中的多重角色,发现其不仅能提升精度,还能恢复基线模型无法预测的少数类。
该论文诊断并修复了对比式视觉语言模型在空间关系(如左/右)上的失效问题,发现其成因包括聚合层无法访问或丢弃几何信息。作者提出一种零参数的查询条件化方法,从补丁网格中重新计算几何结构并存储为向量。
针对稀疏自编码器(SAE)在解释视觉表示时因多特征重叠导致证据模糊的问题,本文提出重构性 SAE 干预(RecSAEI)框架。该方法通过在 SAE 解码器方向上进行主动干预并重建视觉输出,直接揭示特征的语义含义。研究展示了该方法能在多个数据集和视觉编码器中成功消除歧义,并将 [CLS] 干预锚定在稀疏的补丁解码器方向上,同时暴露基础视觉模式与高层语义间的组合关系。
该论文介绍了一种名为 FlowShift 的参数高效后训练框架,旨在解决统一多模态模型(UMMs)中离散分词导致的视觉细节损失问题。该方法通过将预训练的离散 UMM 转化为连续校正流生成器,并引入双重目标速度向量蒸馏(DOVD)技术对齐高保真教师模型与真实轨迹,从而在大幅提升感知质量的同时保留提示遵循度和推理能力。
该论文提出了 PointNDF 框架,旨在从含噪 3D 观测中恢复干净几何结构并保留表面细节与空间分布。方法采用 PTv3 编码器聚合多尺度信息,并通过级联的神经位移场(NDF)融合全局补丁描述符与局部邻域特征,利用有界向量分支预测位移以优化点分布。实验在 PU-Net 和 ModelNet10 数据集上展示了具有竞争力的去噪精度和良好的推理效率。代码已公开。
ART 方法通过强化变换策略自适应构建视图库,将佛罗里达海牛素描的变形疤痕检索 Top-1 准确率从随机增强的 68.83% 提升至 71.40%,显著优于位置感知检索与冻结 CLIP。该研究针对缺乏纹理细节的科学应用难题,在 IEEE BigData 2026 提交预印本并公开代码。
针对孟加拉国像素级伪造的新闻照片卡,研究将检测重构为图像篡改识别任务。基于 969 张真实与 1,077 张伪造样本构建的数据集经增强后达 32,736 个样本,全连接 ANN 准确率仅约 52%。紧凑 CNN 模型在免泄漏交叉验证下达到 87.45% 准确率,而微调 YOLOv8n-cls 骨干网络将精度提升至 97.36%,有效解决了空间线索丢失问题。
论文 VAR-Q 针对视觉自回归生成中 KV Cache 显存占用过大的问题,提出一种无需微调的量化框架。研究发现少量极大值通道承载主要功能负载且沿特征与块两个轴组织,据此设计分组策略利用生成循环中的块边界直接定位异常值,结合位打包内核实现低比特量化。
论文提出 GUILD 框架,解决机器人模仿学习中非引导式数据采集效率低的问题。该方法利用视觉语言模型的语义先验生成任务与环境建议,并通过预测数据归因评估采集轨迹对策略性能的影响,形成闭环反馈以指导后续采集。在仿真与真实机器人实验中,GUILD 相比被动采集及经验基线显著提升了样本效率与部署表现。
针对自动生成的全脑 MRI 分割标签缺乏可靠性证据的问题,该研究发布了 OpenBrain,包含 35,838 个经来源验证的 OpenNeuro T1w 案例。
针对现有统一多模态数据集缺乏多轮状态跟踪的问题,作者发布了 YANAMI-400K 数据集和 YANAMI-Bench 评测基准。YANAMI-400K 包含 40 万条多轮对话及超 200 万张图片,覆盖图像融合、编辑、世界建模与视觉推理等场景;YANAMI-Bench 则通过 400 个案例联合评估状态理解与视觉实现能力。
推荐理由:YANAMI 数据集填补了多轮状态交互评测空白,实验显示微调 BAGEL 模型在图像编辑与生成任务上性能提升显著。
针对无线信道下训练与部署数据间的域偏移问题,该方法结合类对抗对齐与伪标签监督对比学习,在无需推理时额外网络的情况下提升目标域准确率。实验显示,其在 SVHN 至 MNIST 任务(AWGN/Rayleigh 信道)中达到 10 dB CSNR 下的 98.15% 精度,且已公开 arXiv 预印本及代码。
该研究探讨自监督表示学习与生成建模的协同机制,提出在一步生成框架下利用冻结的自监督特征进行匹配。通过 Sinkhorn 散度近似 Wasserstein 距离,发现语义结构化特征能显著降低 ImageNet FID(减少 39 倍)。实验表明匹配稳定性是选择最佳训练特征的标准,并揭示了使用 Inception 作为特征提取器可能存在的指标黑客现象。代码已开源。
针对眼动数据收集昂贵且隐私受限的问题,研究利用扩散模型在位置与速度表示上生成无条件眼动轨迹。基于 28 名参与者的视觉搜索任务,位置模型平均 Jensen-Shannon 发散度为$0.016 \pm 0.004$,优于速度模型的$0.037 \pm 0.002$及运动学马尔可夫基线。该预印本提供定量参考测量并揭示评估选择对生成结论的影响。
论文提出了 MEOX 模型,这是一种针对多模态地球观测任务的紧凑编码器架构。该架构延迟了雷达与光学输入的融合,先通过共享的专家混合模块独立处理 Sentinel-2 和 Sentinel-1 数据流,随后利用有效性感知权重将共定位块融合为单一序列。
研究提出基于 DINOv2、CLIP 和 ViT 的糖尿病视网膜病变分类框架,通过全微调、线性探测及 LoRA 策略在 ODIR 数据集上实现最高内部 AUROC 0.758。
该研究对超 50 个预训练视觉编码器进行大规模探索,发现模型表征与人类感知阈值的区域重叠指标(mIoU)普遍较弱,最佳值低于 0.25。自监督编码器在色敏性上持续优于监督模型,而语言监督模型表现两极分化。结果表明当前大尺度视觉训练目标无法自然涌现类人色彩敏感度。
本文论证在自监督学习中保留而非丢弃投影层是必要的,并提出用径向基函数网络(RBFN)替代标准多层感知机(MLP)。作者引入 Scale-Normalized Separation (SNS) 指标,利用训练得到的核中心与形状参数在无标签情况下评估骨干网络表示质量。
推荐理由:提出用可解释的 RBFN 替换 SSL 中的 MLP 投影头,并给出无标签质量评估指标 SNS。
针对分离编码器统一多模态模型(UMMs)因密集处理视觉 Token 导致推理成本高的问题,本文提出 G$^2$TR 框架。该方法利用生成分支作为任务无关信号,识别对语义理解、潜在空间图像重建及编辑均重要的视觉 Token,通过平衡选择与冗余合并减少信息损失。
该方法提出利用线性、双线性或双三次信号插值技术,对 Stable-Diffusion-1.5 卷积层进行免训练缩放以生成超分辨率图像。实验显示在 ImageNet-1k 验证集上非 DDPM 架构性能下降约 7%,VGG-16 末层参数减少最多 9% 且损失仅增 5%。研究还探讨了将神经网络训练内存占用降低至 4 倍或更高的可行性。
该研究提出了 CurEvo 框架,旨在解决现有视频理解自进化方法缺乏结构化指导的问题。框架维护能力感知的课程状态和累积训练池,通过多维问题生成提供互补监督(从可验证的结构化感知问题到类型条件的识别理解问题),并利用自适应评估机制独立筛选高质量问答对以更新课程。
推荐理由:提出课程引导自进化框架,通过多维问题生成与自适应评估实现无标注视频理解能力的自主提升。
AFINR 提出一种空间自适应频率调节框架,通过离散余弦变换参数化控制场解决自然信号频域内容随位置变化的问题。在 Kodak 和 DIV2K 数据集上,结合 CAFE+ 解码器的 AFINR-CAFE+ 版本平均提升 3.95 dB(Kodak)和 3.50 dB(DIV2K)。消融研究验证了该框架在傅里叶分量使用上的位置依赖性优势。