多模态情感识别中解耦学习的新框架:基于原始记忆蒸馏的缺失模态处理方案
PriMD 框架提出从单模态内部视角出发,将共享语义与模态特定信息解耦并离散化为可学习的语义原语以构建记忆库。在 IEMOCAP、CMU-MOSI 和 CMU-MOSEI 数据集上的实验表明,该方法在多种缺失模态设置下均实现了最先进性能及更强鲁棒性,有效缓解了整体特征推断带来的不稳定性。代码与项目网站已公开,论文已被 EMNLP 2026 Findings 接收。
PriMD 框架提出从单模态内部视角出发,将共享语义与模态特定信息解耦并离散化为可学习的语义原语以构建记忆库。在 IEMOCAP、CMU-MOSI 和 CMU-MOSEI 数据集上的实验表明,该方法在多种缺失模态设置下均实现了最先进性能及更强鲁棒性,有效缓解了整体特征推断带来的不稳定性。代码与项目网站已公开,论文已被 EMNLP 2026 Findings 接收。
该研究深入调查了扩散 Transformer(DiT)中的关键调节机制 adaLN-Zero,发现其优于 adaLN 的核心在于零初始化策略。作者提出了分析引导的初始化方法 adaLN-Gaussian 以验证分析并提升优化效率,同时引入基于 SE 结构的改进机制 SE-adaLN-Zero。
针对卫星档案中“查找新增建筑”等自然语言查询,研究对比了注意力、Mamba 及自研 TBF 三种融合模块设计。实验显示,免训练的两阶段搜索策略在 LEVIR-CC 基准上匹配全融合召回率的同时,将查询成本降低 10-15 倍;而 Mamba 线性扫描因显存带宽限制未带来速度优势。此外,TBF 压缩使参数量减少 2.3 倍、延迟降低 1.6 倍,但激进压缩会丢失关键变化细节。
针对胶质瘤分割模型在不同 MRI 数据集上精度下降且难以识别需修正病例的问题,本研究提出反事实上下文传输(CCT)方法。该方法替换扫描的特征统计量以训练数据为基准,测量肿瘤掩膜的变化并结合同步预测不确定性来排名待审查案例。在 BraTS 和 UTSW 数据集上的实验表明,结合上下文敏感性与不确定性的信号比单独使用后者更能一致地捕捉分割失效,支持利用上下文替代下的预测变化辅助识别需专家复核的病例。
针对监控系统中因车牌不可读导致的车辆识别需求,本文在严重类别不平衡的 UFPR-VeSV 数据集上研究车辆颜色识别。
HorizonStream 针对在线三维重建中现有方法存在的漂移、抖动及长序列崩溃问题,提出一种显式分解几何传播核的长视界 Transformer。该方法通过 Geometric Linear Attention 实现多时间尺度的有界传播,利用带时空 RoPE 的局部注意力抑制注意力陷阱,并通过度量读出 Token 恢复稳定尺度与刚性姿态。
针对中分辨率成像光谱仪时间序列树种分类难的问题,该研究提出 Geo-GDS-Mamba 模型。其通过径向基函数构建独立于光谱内容的地理相关性流,利用图卷积网络融合上下文;采用解耦架构分离空间、光谱和时间信息;引入稀疏 Token 模块自适应保留关键特征以降低成本。
BatMIL 采用混合双曲 - 欧氏表示与结构状态空间序列骨干,在七个涵盖六种癌症类型的数据集上优于十五种最先进方法。该研究通过引入专家模块动态路由补丁以处理区域异质性,解决了传统 MIL 方法忽视病理组织层级架构的局限。实验证明几何嵌入表征学习为计算病理学提供了有前景的方向。
SignVerse-2M 是一个包含约两百万个姿态片段的多语言数据集,涵盖超过 55 种手语。作者利用共享的 DWPose 管线处理公开视频,将身体、手部及面部运动统一表示为关键点格式,消除了 RGB 帧中的背景与外观干扰。
MCSTN 提出一种端到端框架,通过掩码感知表示与完整至不完美多视图学习方案,在 PAMAP2、Opportunity 及 WISDM 数据集上实现平均宏 F1 分数分别为 94.24%、91.67% 和 96.22%,优于所有对比方法。该模型仅需少于百万参数,单样本推理延迟为 3.78ms,无需重建或噪声估计即可直接预测。
该论文介绍 Multimodal Coherence Score (MCS),一种不依赖下游任务准确率的评估指标,将一致性分解为身份、空间、语义和决策四个维度。研究在 Visual Genome 和 COCO 数据集上验证,证明 MCS 比单一任务准确率对数据质量问题更敏感,且各维度响应独立无串扰。
推荐理由:提出一种无需下游模型即可评估多模态融合质量的指标,能独立识别身份、空间、语义及决策维度的不一致。
AIForge-Doc 是首个专门针对金融和表单文档中扩散模型 inpainting 篡改的基准,利用 Gemini 2.5 Flash Image 和 Ideogram v2 Edit 生成 4,061 张带像素级标注的伪造图像。
本文建立了首个大规模跨范式基准,系统比较了22种专用架构与12种通用视觉语言模型(VLM)在8个标准数据集上的表现。结果显示,零样本VLM平均绝对误差为5.65年,显著优于非LLM模型的9.88年;最佳VLM Gemini 3 Flash Preview甚至超越了最强专用模型 MiVOLO。
该研究针对机械电气管道(MEP)点云分割中减压器和阀门等关键安全部件因几何相似性导致的持续误分类问题,提出了一种扩展的类平衡损失函数。该方法引入边界熵约束与密度约束两种架构无关机制,利用邻域预测一致性与传感器物理先验来消除局部结构歧义。
针对车内细粒度动作识别中物体标注缺失与多模态对齐困难的问题,作者发布了 DAOS 数据集,包含 9,787 个视频片段、36 种细粒度动作和 15 类物体,提供超过 2.5M 个物体实例标注及 RGB、红外、深度四路同步观测。
针对机器人操作失败检测中高质量失败数据稀缺的问题,本文提出自动框架在仿真与现实环境中生成多样化规划与执行失败轨迹,构建 GuardianFail-36k 大规模推理数据集。基于此训练的多视角推理 VLM(Guardian)在三类未见现实基准上达到最先进水平,并与先进 LLM 操作策略集成后显著提升任务成功率。代码、数据及模型已开源。
推荐理由:提出自动框架生成多样化机器人规划与执行失败数据,构建大规模推理数据集并训练多视角 VLM 以统一验证规划与执行。
PromptMoG 是一种无需训练的图像生成方法,利用高斯混合分布采样提示嵌入以解决长提示下语义约束导致多样性坍缩的问题。该方法在 SD3.5-Large、Flux.1-Krea-Dev、CogView4 和 Qwen-Image 四个大规模扩散模型上均一致提升了长提示生成的多样性。研究还提出了 LPD-Bench 基准用于评估组合文本条件下的保真度与多样性,代码已公开。
RIFLE 是首个研究并解决相机卷帘快门与屏幕亮度调制间时序混叠导致频闪带的作品,通过频闪先验估计器与掩蔽损失在保留细节的同时消除条纹。该方法利用合成数据管道克服稀缺性,在真实配对数据集上量化指标及视觉对比均优于近期重建基线。代码与数据集即将发布。
FICGen 提出频率启发式上下文解耦范式,通过双查询机制与视觉频率增强注意力解决低光等退化场景下的生成保真度问题。在包含严重低光和轻微模糊的五项基准测试中,该方法在生成保真度、布局对齐及下游可训练性上均超越现有布局到图像方法。该成果作为 ICCV 2025 预印本公开于 arXiv,代码与权重暂未提及开放许可。
针对 Vision-Language Models 在稠密视觉感知任务中因局部特征表示受限导致性能不佳的问题,本文提出 DeCLIP 框架。该框架通过解耦 CLIP 的自注意力模块分别获取内容与上下文特征:利用扩散模型的对象完整性线索与基础模型的语义相关性增强上下文特征以改善空间一致性;同时结合图像裁剪表示与区域相关性约束内容特征以提升局部判别力。
推荐理由:提出 DeCLIP 框架,通过解耦自注意力模块并融合扩散模型与基础模型特征,提升 CLIP 在开放词汇稠密感知任务中的局部判别力与空间一致性。
研究通过合成图像训练 LeJEPA 编码器,发现十次种子中九次因子可读性骤降且损失持续降低,但十一种无标签监控信号仍误判为改进。标准变点检测罕见在初期标记下降,基于这些信号的检查点选择多发生在衰退后。代码与数据已公开,该测试揭示了自监督训练中特征信号失真的潜在风险。
Culture-MMT 是一个针对社交媒体跨语言内容翻译的诊断基准,包含 498 个涵盖 20 个领域的去标识化用户生成内容实例。该基准将任务分为符号、视觉和混合三类,通过控制实验发现真实图像在视觉类提升 +0.280、混合类提升 +0.197,而随机图像无增益。研究揭示了视觉配准与文化语用适应是模型的关键瓶颈,并提供了人类对齐的 Judge 评估器及 17 种模型配置下的对比结果。
研究评估了 Prithvi-EO-2.0-Tiny 模型在 Sen1Floods11 数据集上的性能,发现其微调版本在水面交并比(IoU)上为 0.833,略低于 U-Net 的 0.856。
研究发现对抗训练虽使 CNN 和 Transformer 架构的视觉表征更“直”,但该效果具有任务依赖性,无法泛化至分割等预测任务。生物启发机制仅能提升网络早期阶段的直线性,且对下游层无保证。感知直线性可作为衡量表征鲁棒性与稳定性的易计算指标,有助于计算机视觉模型发展。
针对现有视频世界模型在长序列推演和分布外泛化上的不足,本文提出将时序可预测性作为潜空间设计准则的新方法。通过结合时序表示学习目标与过去条件解码器架构,该方法在不牺牲像素预测精度的前提下简化了未来预测任务。
推荐理由:提出将时序可预测性作为视频世界模型的潜空间设计准则,在同等训练预算下实现推理成本降低 5 倍、训练加速 7 倍以上及泛化误差显著下降。
针对现有监督降维方法未显式约束类几何结构导致结果不可复用的问题,本文提出 Isometric Centroid-Encoder (ICE) 框架。该方法在潜在空间直接学习类质心并保留预设的成对类质心几何关系,无需大量样本对或三元组约束即可保持类间几何结构。
推荐理由:提出一种在潜在空间直接学习类质心并保留成对几何结构的监督降维框架,引入 CNS 指标量化嵌入可复现性。
该论文提出 Iris 框架,解决多模态设置下模型处理离散视觉候选人的问题。研究证明在 Iris 架构下可实现严格的顺序不变性和精确缓存复用,并在 MetaEncoder 基准上超越更大参数量的基线。此外,通过重构 Qwen3.5 的 patch-embedding 卷积层为矩阵乘积形式,将 Ampere GPU 上的处理速度提升了 350 倍。代码、数据和检查点已开源。
推荐理由:Iris 框架在保持候选顺序不变性的同时实现缓存复用,显著降低多模态决策延迟,并解决了 Ampere GPU 上的系统瓶颈。
Semantic-Guided Frequency Modulation for Learned Image Compression 提出 SG-AFM 方法,利用语义结构先验引导编码器潜变量高频衰减以平衡压缩率与细节保留。
该方法利用电子 RNPUs 的离散路由训练,将 MNIST 小 CNN 准确率从 94.5% 提升至 96.9%,CIFAR-10 准确率从 62.8% 提升至 68.0%。实验基于经校准的可微模型在 MNIST 和 CIFAR-10 数据集上进行,推理开销可忽略不计。研究展示了利用破同构物理神经网络架构诱导偏差以提升能效的潜力。
针对大视觉语言模型推理成本高、视觉 Token 数量大的问题,本文提出 Query-Vision Decomposition (QViD),一种无需训练的查询感知视觉 Token 剪枝方法。
针对前端网页开发智能体缺乏可复用任务环境的痛点,作者提出了WebUniverse流水线,从开源仓库和真实网页构建了1.5万个包含代码编辑、执行及浏览器检查等演示的可验证任务。
该论文介绍了 PARM 框架,这是一种基于粒子到达率匹配的自监督图像去噪方法。针对低光照或低剂量成像中信号受泊松散粒噪声主导的问题,该方法将曝光过程中的粒子累积建模为泊松计数过程,通过条件粒子到达率场与潜在清洁率的后验均值进行匹配,并利用泊松稀释技术生成互补的低曝光视图作为自监督目标。
EviGround-CT 提出一种句法到体积的接地模型,用于验证大语言模型生成的胸部 CT 报告中缺乏扫描局部证据的阳性发现。该方法在 ReXGroundingCT 子集上评估显示,相比类别条件化,句法接地验证将证据支持精度(ESP)从 0.263 提升至 0.365,同时将不支持的阳性发现率从 0.737 降至 0.635。
该研究测试了 46 个视觉编码器在数字与手势等不相关视觉域中,发现数值、年龄等 10 类概念的局部线性方向普遍存在但全局线性缺失。这种现象被称为“碎片化线性”,表明模型在不同视觉域间无法共享统一的概念方向,且仅当局部线性增强时才能逐步突破此限制并实现跨域转移。
针对计算机视觉中特征可能降低目标分数却保持标签不变的“上下文干扰项”,该研究形式化了此类问题并基于半值与最小核理论推导了量化界限。受控图像分类实验及在 Salient ImageNet 上的评估,为理论发现提供了强有力的实证支持。
该论文介绍 MiniWeb,一个包含 65 个互联网站的现实微型网络环境,涵盖 37 个可复用交互原语和 7 类技能家族。基准测试发现拖拽与手势操作是最弱环节。
MatAnyone-E 是 MatAnyone 2 的高效扩展版本,旨在解决高分辨率视频抠图中计算成本过高的问题。该方法首先进行低分辨率传播以定位需要精细处理的区域及关键记忆候选者,随后仅在这些区域执行高分辨率匹配并复用低分辨率结果,从而减少详细匹配的位置数量和搜索的记忆量。
针对多模态传感器成像视角差异和视场失配导致的信息整合局限,论文提出了 SeeRF 框架。该方法结合微分不变速度场的形变生成策略、视觉基础模型引导的特征提取以及由粗到细的渐进式多模态图像配准模块,实现精确的跨模态流估计并生成有效视场掩码。
推荐理由:提出 SeeRF 框架,利用生成式扩散模型解决多模态传感器视场不匹配与融合伪影问题。
针对高光谱图像受大气、光照及地形变化影响产生的光谱变异性问题,该方法提出基于结构化加性变异性线性混合模型(SAV-LMM)的两种新算法。实验在合成与真实数据集上验证表明,结合非负矩阵分解(NMF)并引入额外惩罚项的方案,相比现有最先进方法能有效提升解混精度。研究还提出了考虑光谱变异性的新型改进初始化方案以优化成本函数。
针对语义分割任务中数据集蒸馏面临的双层优化成本高和生成方法缺乏语义知识的瓶颈,本文提出 S$^2$-RL 框架。该方法将蒸馏问题重构为基于扩散模型的文本到图像生成范式,利用 GRPO 算法微调扩散策略,通过样本级语义对齐与类内特征多样性、集合间分布多样性的双重奖励机制,在不进行像素级梯度展开的情况下实现高效的知识压缩。