LLaVA-CKD:面向视觉语言模型的自下而上级联知识蒸馏方法
针对大视觉语言模型部署时显存与算力需求高的问题,本文提出一种自下而上的级联知识蒸馏(CKD)框架。该方法受人类教育体系启发,引入一个或多个中间容量的教师网络,逐步将学生网络提升至下一层级,再由更高容量的教师接管,以缓解因师生容量差距过大导致的知识转移效率下降。
针对大视觉语言模型部署时显存与算力需求高的问题,本文提出一种自下而上的级联知识蒸馏(CKD)框架。该方法受人类教育体系启发,引入一个或多个中间容量的教师网络,逐步将学生网络提升至下一层级,再由更高容量的教师接管,以缓解因师生容量差距过大导致的知识转移效率下降。
论文提出 LSGQuant 方法,针对一步式扩散模型在视频超分辨率任务中存在的显存大与计算成本高问题,引入动态范围自适应量化器以适配视频 token 激活分布,并通过分析校准阶段的逐层统计估计层敏感性,实施方差导向的层训练策略。
论文提出 PISA,一种无需训练的 Piecewise Sparse Attention 方法,旨在解决扩散 Transformer 的二次复杂度瓶颈。该方法发现非关键块注意力分数具有分布稳定性,采用“关键块精确计算、其余块通过块级泰勒展开近似”的策略,而非直接丢弃信息。
推荐理由:提出无需训练的 PISA 方法,通过分段泰勒展开近似非关键块注意力,在 Wan2.1、Hunyuan-Video 及 FLUX 上实现加速并保持最高生成质量。
SpectralTrain 是一种架构无关的训练框架,通过结合课程学习与基于主成分分析的谱降采样,在显著降低计算成本的同时提升学习效率。实验在 Indian Pines、Salinas-A 及新引入的 CloudPatch-7 三个基准数据集上验证了其在空间尺度与光谱特征上的泛化能力,训练时间减少 2-7 倍且精度波动较小。代码已开源,适用于气候相关遥感中的云分类等任务。
针对全局$\ell_1$预算限制,研究通过精确循环投影在APGD-$\ell_1$等三种方法中引入每坐标上限。实验显示,在18种标准模型设置下,上限设为32/255时保留了97%的攻击成功率且峰值幅度下降80%,而直接后处理裁剪仅保留88个百分点的成功率。结果确立了扰动集中程度作为$\ell_1$攻击评估的互补维度,适用于不同模型与攻击场景。
针对智能眼镜中视觉语言模型受限于计算预算的问题,论文提出 GazeLens 框架,通过 HOG 过渡和图像锐度筛选帧,利用高斯池化生成聚焦与互补摘要,并以轻量门控机制融合为两个 Token。该方法在 StreamGaze 数据集上实现了比全网格及现有 Token 缩减基线更高的宏观与微观准确率,同时降低了输入前向 FLOPs。
论文分析了四种预训练目标不同的 ViT-B/16 骨干网络(DINOv3、SigLIP2、MerMED-FM 和 BiomedCLIP)在脑肿瘤分割任务上的表现。
针对 YOLO 框架在异构文档场景下的适配不足问题,本文提出 DocLayout-YOLO 实时检测器。数据方面,引入 MeshLayout-1M 合成预训练语料库;模型方面,设计 Page-Axis Layout Attention (PALA) 以捕捉页轴长程依赖。
论文提出 RLSplat 框架,解决现有前馈 3D 高斯泼溅(FF3DGS)方法在调整高斯数量时推理成本不随预算降低的问题。该方法通过学习高斯分配策略与资源线性解码机制,使表示大小、推理延迟和显存峰值均随预算减少而线性下降。
针对激光雷达 3D 目标检测在点云受污染时的鲁棒性与资源效率难以兼顾的问题,该方法通过构建模拟极端天气的受损样本进行离线训练,利用七种异构检测器评估扰动敏感性并优先学习难例;同时结合离线路径密度测量优化采样阶段处理点数。
论文提出 LoRASpace,这是一种免训练方法,利用奇异值分解找到保留 99% 因子能量的最小子空间。该方法支持两种推理模式:静态合并模式(以合并成本换取质量)和动态路由模式(根据输入选择)。在扩散模型池中,动态模式比复合推理快 6 倍以上,因为只需运行一次主干网络前向传播。代码已开源。
推荐理由:提出免训练方法 LoRASpace,通过池级共享子空间实现多 LoRA 静态合并或动态路由,在扩散模型池中显著降低推理延迟。
Leaf Jiang 在 Jetson AGX Orin 上对九种主流深度估计模型进行了基准测试,涵盖单目(Depth Anything V2/3、Depth Pro、MoGe-2 等)和双目(libSGM、NVIDIA ESS、Fast-FoundationStereo)方法。
针对非合作目标的自主在轨服务,该研究提出基于嵌入式电容传感的实时交互感知框架,将粘附生命周期划分为空闲、接近、接触等五种离散状态。离线测试中随机森林模型分类准确率达 95.65%,在线部署结合规则机后准确率提升至 93.14% 且推理周期为 53ms。物理一致的状态约束显著增强了实时推理鲁棒性,为未来自主在轨捕获任务奠定基础。
EGGHead 是一种针对单张图像生成逼真人头的计算机视觉方法,旨在解决传统网格法表现力不足与 NeRF 法效率低下的权衡问题。该方法引入新型高斯分配算法,在固定高斯预算下优化语义区域分配,减少所需高斯数量并最小化对表现力的影响。
该论文针对现有稀疏线性注意力(SLA)依赖启发式分割及分解不匹配的问题,提出 SLA2 架构。其核心改进包括引入动态选择分支的可学习路由器、采用更忠实于数学定义的混合公式以及通过量化感知微调实现的低比特注意力设计。实验表明,在视频扩散模型上,该方法实现了 97% 的注意力稀疏度,带来 18.6 倍的速度提升,同时保持了生成质量。
GMixout 提出一种将 Mixout 重构为单次运行、共享权重的隐式集成方法,通过控制掩码周期、使用指数移动平均快照及稀疏核更新参数,在消费级 GPU 上实现无推理开销的大模型微调。实验显示该方法在五基准测试中,面对协变量偏移和类别不平衡时,持续优于 Mixout、Model Soups 等强基线。该工作包含 32 页论文与 9 张图表,已上传至 arXiv 并投稿 Neurips 2026。
针对多模态大语言模型(MLLM)中现有剪枝方法在 OCR 和视觉定位等细粒度任务上表现不佳的问题,本文提出 Bifocal 方法。该方法采用无需训练的两阶段策略,通过混合粒度框架分配查询关注与图像内在证据的预算,并结合池化粗表示。
针对单数据集训练的视觉基础模型难以跨机构、扫描仪或人群泛化的问题,作者提出 MemSeg-Agent,通过轻量级静态、少样本及测试时工作记忆动态组合固定骨干网络。实验表明,仅静态记忆即可匹配强监督基线且参数高效,结合测试时工作记忆可进一步提升域内与跨域性能,无需微调即支持联邦监督学习与测试时自适应,显著降低通信开销。
该文提出 SpargeAttention2,一种针对扩散模型的可训练稀疏注意力机制。研究分析了传统掩码规则的失效条件及微调局限性,提出了结合 Top-k 和 Top-p 的混合掩码策略、高效实现以及蒸馏式的微调目标。实验表明该方法在视频扩散模型上实现了 95% 的注意力稀疏度和 16.2 倍加速,同时保持了生成质量,优于现有方法。
该论文提出 TempoMoE,一种无需训练的框架,通过 tempo-contrastive routing analysis 识别快慢思考专家并动态调整路由权重以适应样本难度。在 Kimi-VL、Qwen3-VL 和 ERNIE-4.5-VL 上评估显示,相比 Vanilla 方法,TempoMoE 在保持准确率提升的同时显著减少输出 Token 数。
针对实时流式视频问答中低延迟与高处理速率的矛盾,本文提出 StreamAhead 算法系统协同设计。该方法独立编码视频片段并动态控制其表示层级(从视觉特征到 KV Cache),仅在查询到达时为检索片段完成昂贵计算。
SGAV-MP 是一种后训练压缩框架,通过可靠性约束选择层精度并在校准集上进行全模型验证。该方法在五类 2D 骨干网络及三类 3D 基准测试中,实现了 2D 场景下 3.59 至 7.8 倍、3D 场景下 4.73 至 7.82 倍的压缩率,同时保持 FP32 级别的 Dice 值和高不确定性图一致性。研究还单独报告了支持 TensorRT 部署的运行时执行测量,以区分可靠性存储压缩与运行性能。
该研究针对运动去模糊模型在智能手机影像上精度下降问题,对比了基于目标信息的严重度描述符与元数据调制等四种适配方案。实验显示输入拼接使 iPhoneBlur 测试集峰值信噪比从 31.23 dB 提升至 31.30 dB,增益覆盖 87.2% 图像及 15 个视频中的 14 个。代码与补充材料已随论文公开,但结果未确立注入位置为唯一成因或具备可靠部署优势。
该预印本提出 GazeAgent 框架,利用视觉语言模型(VLM)从佩戴者手部和 IMU 等多模态行为中识别精确视觉注意力事件,将其作为伪校准目标以连续自适应地提升眼动精度。
针对现有端云协同方法在多分割点切换时存储开销大、延迟高的问题,本文提出了 DS-Net 动态分割网络。该方法设计了动态切换框架以支持单模型内的灵活分割点选择,并引入分层补偿机制来缓解特征分布偏移与信息丢失。
推荐理由:提出动态分割网络架构,在降低存储开销的同时实现毫秒级切换与精度提升。
论文 SAGE-CP 指出自适应视觉语言模型(VLM)集成在早期退出和升级输入的路径上存在覆盖率不均衡问题,提出通过冻结路由选择并分别校准分数来实现每条路径的有限样本覆盖。实验显示该方法在保持边际覆盖率的同时,将最差路线覆盖率从 0.623 提升至 0.887,并将路线覆盖率差距从 0.324 降至 0.025,同时比完整集成减少约 70% 的源调用次数和 GPU 能耗。
论文提出 SpecKCast,这是一种无需训练的方法,通过 2D DCT 将输出转换到频域并利用轻量级卡尔曼滤波器跟踪系数变化,仅在预测不确定性超过阈值时评估 Transformer。
论文提出 V-JEPA Hand,这是一个简单的前馈视频模型,能联合从第一人称视频中重建双侧手部运动和相机自运动,将手部轨迹表达在统一的世界坐标系中。模型使用自监督 V-JEPA 2.1 编码器提取时空特征,并通过基于查询的预测器解码为每帧的手部姿态、手部存在性及相机运动;支持已知焦距或预测焦距,单次前向传播完成重建。
为降低视觉语言动作模型在机器人端的推理成本,该方法对大语言模型骨干网络的隐藏层和前馈中间维度进行感知剪枝,随后利用强化学习恢复操作策略性能。实验基于π0.5模型,将语言骨干参数从23.4亿降至9000万、全模型从33.7亿降至11.2亿,移除约96%和67%的参数。在LIBERO基准测试中,压缩后模型的四个套件平均成功率由84.55%提升至93.45%,推理速度提升1.98倍。
YUTELA 是一种基于 NVIDIA Jetson Thor 边缘设备的边缘 - 服务器 - 云端 AIoT 系统,用于长期、多站点的视频异常检测。该系统通过相机批处理与重分布、共享内存及 TensorRT 加速推理优化了多摄像头流水线,并为每个相机维护独立的异常模型,在收集到足够的伪正常数据后于集中式 GPU 服务器上重新训练并将更新权重下发至边缘端。
该论文提出 TriTD 框架以解决自回归视频扩散模型在生成质量与推理效率间的权衡问题。研究将误差归因于基座模型误差、训练 - 推理分布失配及上游误差传播,并推导了误差上界。
针对自动驾驶需快于帧相机成像速度的需求,该方法利用微秒级分辨率的事件相机记录亮度变化,在高于帧率的决策频率下工作。研究提出可靠性监督路由,为每个位置分配融合权重并通过双单模态分类器损失进行监督;同时采用不对称分辨率融合,以原生分辨率编码帧并在事件网格上池化特征以复用预训练权重。
论文针对扩散 Transformer(DiT)在压缩模型与自适应推理结合时出现的质量退化问题,提出 TamedFlow 方法。该方法通过跨架构特征对齐、近恒等速度对齐头及随机化展开监督训练压缩 DiT;在推理阶段利用轻量级轨迹估计器路由草稿,接受则跳过教师计算,拒绝则回滚并接收一次教师救援步骤。
论文 SSIO 提出了一种针对新平台的惯性里程计自监督训练方案,利用短窗口积分作为教师信号并通过姿态图蒸馏进行序列一致性修正,从而在无需收集地面真值轨迹的情况下完成模型训练。该方法在涵盖行人、无人机、四足机器人和人形机器人的六个数据集上验证,在无速度或位置标签的条件下,其平均速度误差与同架构的监督基线相当(约 0.07 m/s)。
该论文提出‘从看见到报告’(FSR)理论,将视觉报告视为任务核心而非单纯格式化输出。研究构建了从响应解码到记录构造的链式关系,指导计数、文档布局及 GUI 定位等任务。
arXiv 论文 LateMatch 提出一种重构现有深度特征匹配器的新范式,通过将图像内处理隔离为离线可缓存的 Context Blocks,仅在线执行少量跨图交互块,从而解决标准匹配器在边缘设备上因重复计算导致的成本过高问题。
该预印本提出了一种在边缘设备上同时实现车道偏离预警(LDW)与交通标志检测及识别(TSD/TSR)的统一 ADAS 框架。针对数据稀缺地区,作者构建了包含 35 类本地交通标志的数据集并通过增强扩充至 8,750 样本。
该研究系统验证了视觉 Transformer(ViT)的 token-decoding 可解释性并非架构固有属性,而是随优化景观变化的偶然结果。实验发现部分模型呈现对齐的可解码输出,而另一些则出现反转映射或完全缺乏与图像语义的相关性。
PanoDent-KD 提出可审计的 1280-pixel YOLO26m 流水线,通过特征级知识蒸馏实现九类口腔 X 光专家模型在测试集上宏观框 F1 达 0.82。
arXiv 论文 LENS 提出一种在 AMD KR260 FPGA/ARM 平台上运行的边缘端场景记忆加速系统,旨在替代桌面 GPU 为资源受限的机器人和自动驾驶车辆提供定位与近景渲染能力。