Adapters as Data: The Latent Space of LoRAs
该论文提出将 LoRA 适配器视为一种新的数据模态而非成品工件。研究团队在 NeurIPS 2026 Workshop on Neural Network Artifacts as a New Data Modality 上提交了预印本,训练了基于 Transformer 的自编码器映射到潜在空间。
该论文提出将 LoRA 适配器视为一种新的数据模态而非成品工件。研究团队在 NeurIPS 2026 Workshop on Neural Network Artifacts as a New Data Modality 上提交了预印本,训练了基于 Transformer 的自编码器映射到潜在空间。
该研究指出分类精度反映样本局部性质,而特征学习追求数据集全局性质。通过重设计二元交叉熵(BCE)损失并调整归一化空间尺度因子γ,发现中等γ值能同时实现可靠分类与结构化特征。实验验证了BCE在长尾和开放集识别中优于传统方法的优势。
这篇论文提出了 IMUDINO,这是首个针对惯性感知的通用基础模型(FM),旨在在人体活动识别、健康监测、动作捕捉和里程计等多样化任务上达到竞争性性能。针对以往惯性 FM 往往局限于单一子领域且泛化性差的问题,该研究通过语义保持的运动变换将 DINO 自监督学习范式适配到惯性数据,并采用支持可变输入长度与采样率的纯 Transformer 编码器架构。
针对扩散和流基生成模型难以适配少步确定性生成器的问题,本文提出 LeNO 方法,将奖励引导的初始噪声优化摊销为学习残差传输,同时保持预训练生成器冻结。该方法利用 Local GRPO 和标量奖励学习锚点条件的噪声修正分布,消除了推理时的迭代测试优化。
该系统利用车把摄像头与视觉语言模型(VLM)提取交通属性,结合开放街图数据通过可解释增强机器(EBM)预测骑行安全评分。在伦敦两条路线的 1,362 帧标注数据上,模型 CPU 推理耗时 0.4ms,二元分类准确率达 72.2%,物理车道分离贡献 +0.97 分。重编码后以 54 Mbit/s 支持千名骑手连续监测,误差仅增加 1.4 个评分点,为基础设施成本效益分析提供直接依据。
ManimCode 是一个针对教育动画生成的数据与训练框架,旨在解决渲染后存在的视觉缺陷、解释缺失或内容错误问题。研究构建了包含 24,034 条经过渲染验证和过滤的 ManimData 数据集,记录了中间程序、执行错误及修正轨迹。
推荐理由:该工作提出 ManimCode 框架,利用渲染反馈数据训练单模型实现教育动画的视觉自我修正与代码迭代。
该论文提出 DART 框架,旨在解决通用异常检测(GAD)中残差混合了可迁移异常线索与纹理、几何等域特定外观因素的问题。该方法通过残差解耦模块分离异常相关信息和域信息,并结合跨域元训练增强效果。实验在 MVTec AD、VisA 和 BraTS 数据集上验证了其优于多种基线方法的效果,尤其在强域偏移场景下增益显著。
arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。
推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。
图像分类模型常因测试时上下文环境与训练期差异而性能下降,这种现象称为上下文偏移。本文提出一种新训练框架,利用空间特征归因引导模型更依赖物体相关特征而非背景线索。
推荐理由:提出 ContrastiveCAMs 与 CR-CE 方法,通过抑制非因果上下文线索提升卷积网络在分布偏移下的鲁棒性。
MiniMax-H3 预训练因果视频 VAE 被适配为离散视频分词器,联合优化的自回归熵模型在 UVG、MCL-JCV 及 HEVC Class B 数据集上相比 GLC-Video 实现 BD-LPIPS 节省 82.2%--87.5%。该方法通过可微率代理优化分词分配,在极低码率下显著提升了感知质量与时间连贯性。
ATHAAR 是首个遵循文本批评指南、涵盖不同见证者与书法风格的手写阿拉伯科学手稿数据集,旨在解决当前视觉语言模型(VLM)在该领域的训练数据缺失问题。研究利用该数据集评估了跨脚本、章节及论著的任务迁移能力,揭示了现有系统在应对古代科学文本特异性时的局限性。相关代码与权重暂未提及开放许可,论文状态为 arXiv 预印本。
论文介绍了 TerraMesh-Masks 这一大规模开放词汇分割数据集,包含与九千万个多模态 TerraMesh 样本对齐的一千六百万个二值掩码,语义标注源自 OpenStreetMap 和 Overture。
该研究引入 VHR-Bench 基准套件,包含十个在 1.5m GSD 或更精细分辨率下的数据集,涵盖五个任务家族、八个应用领域及卫星与航空平台。评测结果显示,SkySense 在标签稀缺时领先,而基于网络预训练的 DINOv3 ViT-L 在全量标签下表现更佳;仅基于 Sentinel 尺度影像预训练的编码器效果最差。
论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。
推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。
针对大规模带标签人脸数据集采集成本高及隐私伦理问题,本文提出 IDPrior 框架,将身份生成与图像合成解耦。该方法先在预训练人脸识别模型的嵌入空间学习扩散先验以建模面部身份分布并生成新颖身份特征,再以此条件化预训练的身份条件扩散模型进行多张同身份图像合成。
推荐理由:提出 IDPrior 框架解耦身份生成与图像合成,在预训练人脸识别模型嵌入空间学习扩散先验以生成新颖且分布接近真实身份的特征。
InnerLogic-Surg 是一个由数百万张手术图像持续预训练得到的开源手术视觉编码器家族(参数量 21M--300M),数据源自约 2900 小时的互联网手术视频。
推荐理由:该工作通过持续预训练构建了开源手术视觉编码器家族,在多项基准任务中表现最优,为手术图像分析提供了可迁移的强基座。
针对现有手语生成方法依赖单视角数据导致自遮挡和细节丢失的问题,该研究提出 MV-Sign 框架,通过融合多视角 3D 运动数据和优化文本条件路径来提升生成质量。
SigDiffuser 提出一种基于“废墟重建(RFR)”任务的自监督框架,通过故意损毁签名结构引导视觉编码器学习鲁棒表征。实验在多语言数据集上显著优于现有自监督方法及手写签名验证模型,且证实极端损毁比轻微形变更能提升表征质量。代码将公开可用。
针对多模态数据异质性与交互复杂性问题,研究提出基于部分信息分解的 MIIB 框架,通过双路径架构显式编码冗余、独特与协同信息。该方法利用变分界与基于分数的熵估计优化目标,无需显式互信息估算即可捕捉跨模态交互并抑制冗余信息。实验在多个基准上验证了其对现有最先进多模态自监督方法的持续改进效果。
作者发布了一个名为 FlyingDrones 的基准,包含由物理渲染生成的密集真值光学流和分割掩码,并定义了分辨率归一化指标(EPE Norm)。研究评估了 16 个模型家族在分层子集上的表现,发现架构差异随分辨率增大而显著。此外,基于真实无人机视频的无真值运动对齐测试显示合成排名与真实性能存在中度相关性,微调实验表明该基准数据能有效降低误差并提升定位精度。
InfMasking 提出一种基于无限掩码的统一多模态学习框架,在融合前随机掩蔽各模态特征以强制模型学习跨模态交互模式而非依赖主导模态。该方法通过优化闭式变分界值,在多个基准测试中提升了预测性能并提高了任务标签协同性的均值 PID 估计与 InterSHAP 归因得分。代码已公开,论文已被 IEEE TPAMI 接收发表。
该方法结合冻结 SlowFast 视频专家与生成零样本物体功能的注意力机制,利用视觉语言模型生成的交互功能过滤非活跃检测,将 MECCANO 数据集上 Top-1 准确率从 44.9% 提升至 49.9%,优于 SlowFast 及物体感知 RGB 基线。研究在标注框与官方检测器两种条件下评估性能,其中约半数精度损失源于非活跃物体检测干扰。代码将在论文被 IEEE FG 2027 接收后发布。
针对终身物体地图需判断离屏后物体是否留存的问题,本文提出 HiPer 分层持久性滤波器。该方法不依赖类别先验,而是检索视觉和几何相似的训练实例来估计初始生存率,并在 Rosen 框架下利用检测与漏检数据以闭式形式更新信念。
该论文针对视觉生成模型后训练阶段数据分布不匹配及属性监督混淆的问题,提出结合生成器对齐奖励建模(GARM)与目标感知有界优化(TABO)的框架。GARM 通过生成器支持匹配和内容匹配的真实对比降低无关内容干扰;TABO 将学习到的奖励映射为平滑的上界函数以抑制过优化。
该研究提出基于四叉树空间通道联合建模的 IE-PFA 上下文模型,利用共享字典作为外部先源并通过 RWKV 模块高效融合内外先验。实验在七个基准上实现平均 BD-Rate 降低 21.65%,参数量仅 29.9M,编码与解码耗时分别为 61ms 和 52ms。代码已开源,支持单网络覆盖 64 个质量级别的变率编码。
TRACEMARK 提出一种编辑器感知的水印框架,通过联合训练的编码器与检测器在图像编辑前嵌入用户信号并恢复身份。实验显示该方案在三类图像域中实现 87.5% 的平均识别准确率,且无需重新训练即可在不同编辑器上有效工作。
针对应用于三维医学扫描的视觉语言模型面临的结构性内存墙问题,本文提出 TACT-KV(Tri-Axis Cosine Transform),这是一种无需校准的 KV Cache 压缩方法。
Hongxu Shen 等人提出一种名为 RecOE 的基于异常暴露的检测框架,旨在利用训练数据中的离群点作为代理分布外数据来微调深度神经网络。该方法通过学习来自分布内数据和辅助离群点的特征子空间,以最小化重构误差捕捉主导变化,并利用样本级目标和正交性正则化减少子空间重叠。
针对图像到图像(I2I)扩散模型在多任务学习中的参数干扰与伪影问题,本文提出了 OptIMerge 框架。该方法通过最小化多任务损失函数学习轻量级合并系数,利用架构感知的变换对齐注意力层与卷积层的特征,在冻结专家网络的前提下实现了媲美联合训练的多任务能力。
推荐理由:提出基于优化的多任务融合框架,解决图像修复类扩散模型直接平均导致的伪影问题。
Vision-language classifiers 在仅凭文本学习新标签时,其服务列表持续增长会静默改变基于 softmax 的 conformal scores,进而影响旧标签的决策。
推荐理由:提出 PrefixCP 方法解决标签库增长导致的旧决策漂移问题,兼顾覆盖率保证与历史决策稳定性。
Shih-Yao Lin 发布 VideoRouteAudit 审计,在固定骨干网络与解码设置下分离了帧选择、非视觉证据注入和模型路由的影响。全量数据(n=900)显示无测试选择器显著优于均匀采样,最大增益仅 +1.2 分且置信区间包含零;小样本(n=200)评估极不稳定,35.8% 的抽样反转了全量效果。
推荐理由:该审计发现长视频问答的增益主要来自模型切换而非帧选择,且小样本评估极不稳定。
该文提出 ArtiVidRM 模型,采用先观察后评分范式,将可见生成伪影组织成结构化列表并作为明确标准进行质量评估。该方法通过多奖励强化学习联合优化伪影预测与质量排名,在视频偏好基准上达到最先进水平,能为视频扩散模型优化提供有效信号并支持闭源生成器的伪影引导式改进。
针对神经视频编码中感知质量与重构保真度的权衡问题,该研究提出区分可放松对应关系与必须保留的约束。方法上引入局部切片 Wasserstein 失真(SWD)进行一维最优传输以捕捉跨通道依赖,并采用运动轨迹上的流残差约束编码误差以保持时序一致性。
针对视觉语言模型的少样本适应问题,该研究提出 SD-LoRA 框架,旨在平衡细粒度视觉区分学习与部署效率。该方法在训练阶段利用异质图教师模型对高分辨率 ViT token 进行 patch-patch、全局 - 局部及视觉 - 文本关系的建模,并通过隐式蒸馏与原型预测对齐将结构偏置转移至共享的 CLIP-LoRA 骨干网络。
论文提出 JPTA(Joint Prior and Transport Adaptation)框架,将视觉语言模型的归纳自适应重构为对批次条件化语义参考的估计。
在 AI 工厂中,高带宽内存(HBM)是速度最快但成本最高的存储层级。NVIDIA 指出,冗余权重拷贝、空闲会话的 KV 缓存或重新计算的前缀均浪费字节资源。核心问题已从 GPU 拥有多少内存转变为每字节能产生多少有效工作产出。
该论文评估了采样广度与交互深度对多轮智能体强化学习性能的影响,发现其优势依赖于充足的回合预算且集中于错误恢复与长程韧性,而非均匀提升单步决策质量。作者提出 BudgetMix RL 方法以缓解预算依赖带来的部署风险,并展示了其在多样化执行设置下的鲁棒性。
推荐理由:原文通过多轮交互预算分析揭示强化学习在长程任务中的优势边界,并提出 BudgetMix RL 以缓解部署风险。
针对扩散或流模型在少数据新域适配中采样成本高且加速方法受限的问题,研究提出 MeanFlow-Transfer (MF-T) 与 Continuous Adversarial MeanFlow (CAMF)。
该方法提出针对潜在特征样本统计设计的率失真最优晶格向量量化(OLVQ)码本,克服了传统结构对均匀分布依赖的缺陷。实验表明其在保持计算效率的同时显著提升了端到端神经图像压缩的率失真性能,代码已开源。
针对高分辨率视频生成成本高昂的问题,本文提出 SoL-Refiner,一种将低分辨率模型输出转化为 4K 视频的单一去噪步骤方法。该方法结合高分辨率持续训练、强化学习后训练及最终一步蒸馏的三阶段流程。