Out of Sight, Still in Mind:Omni-LLMs 推理时的 Token 压缩方法
该论文提出 ReMo 框架,旨在降低多模态大模型在推理阶段的输入 Token 成本。该方法无需训练,通过跨模态对齐去除冗余视觉信息,并用轻量级检测器将物体级视觉 Token 替换为紧凑的文本代理。
该论文提出 ReMo 框架,旨在降低多模态大模型在推理阶段的输入 Token 成本。该方法无需训练,通过跨模态对齐去除冗余视觉信息,并用轻量级检测器将物体级视觉 Token 替换为紧凑的文本代理。
针对视频大模型自回归解码效率受限于海量视频 token 的问题,本文提出了 ParallelVLM,一种无需训练的草案 - 验证推测解码框架。该方法通过并行化两个阶段最大化硬件利用率,并引入无偏验证器引导的剪枝策略以消除注意力引导剪枝中的位置偏差。
Spool 是一种无需训练的框架,通过缓存每帧状态变换并高效组合,在移除过期帧时避免重播骨干网络。该方案在五个开源混合 VLM 及四个视频推理基准的 20 组测试中,将 p95 首 token 延迟降低 6.6 倍且准确率平均提升 2.3 个百分点。
Event-Based Dynamic Lip Region Estimation During Speech 提出基于事件相机的动态唇区预测方法,在低光照等挑战环境下实现高精度定位。
RVT-T 模型基于 v2e 模拟器生成的合成事件数据,在 Jetson Orin Nano 平台上以约 136 ms 延迟和 2.02 J/样本能耗实现海上人员实时检测。该模型在 843 个测试样本上达到 15.63% AP50:95,显著优于 YOLOv8n(6.89%)和 RT-DETR-R18(9.44%)。研究已接受于 WACV 2027 海事计算机视觉研讨会,代码与数据待开放许可。
针对轻量级用户设备上的音视频问答任务,本文提出一种免训练的查询无关令牌剪枝框架,通过蒙特卡洛沙普利估值定义视频时空块和音频窗口为播放器,结合嵌入覆盖目标保留高重要性令牌以构建可复用记忆。
该论文提出 Decision-Guided Speculative Perception(DGSP)方法,利用规划器对假设物体的反应探测低分辨率场景中的决策敏感区域,仅对这些区域及当前动作依赖的检测进行高分辨率验证。
研究利用预标注视频训练 YOLOv11 模型,经 TFLite 转换部署于安卓应用,在温控鸡舍中实现对坐、站立和采食三类行为的自动分类。测试显示静态姿态识别准确率最高(坐姿 AP=0.531,精确率 100%),动态采食行为表现较低(AP=0.292,召回率 0.20)。
Rescaling OLS-Merged Adapters 方法通过重缩放合并更新量,解决了普通最小二乘法(OLS)在激活分布重叠时削弱任务特定信号的问题。在多主体个性化场景下,该方法将合并适配器数量扩展至 30 个,显著提升了主体保真度并优于未缩放基线。此外,该技术在风格迁移、概念擦除及图像分类等任务上也取得了改进效果。
针对高分辨率激光雷达在线处理效率低且缺乏资源约束的问题,作者提出了 Pelorus 方法。该方法采用固定容量的体素化法线分布地图和迭代等变状态估计器,通过基于相关性的驱逐机制限制内存占用,并利用成熟度加权的地图更新抑制不一致观测。
推荐理由:Pelorus 提出资源感知的激光雷达惯性里程计方法,在固定内存容量下实现低 CPU/GPU 负载,并开放 CUDA、Vulkan 及 Metal 后端代码。
针对循环视觉语言模型(VLM)重复处理长序列导致的计算与显存开销问题,论文提出免训练的 LoopZip 压缩算法。该方法通过构建紧凑候选池、跨调用选择及权重绑定值修正,有效保留关键信息并减少输出偏差。实验表明,在 LoopVL-1B 上,50% 剪枝比下保留原模型 97.16% 性能,87.5% 剪枝比下超越最强基线 5.36%,显存占用降低约 58%,端到端推理速度提升 2.01-2.47 倍。
PCRG 是一种无需训练的视频生成插件,利用 VAE 潜空间冗余度与视觉语言模型重要性信号将参考 Token 分为剪枝、缓存或保留三类。
论文指出视觉语言模型(VLMs)作为零样本图像质量评估器时,其好坏判断与人类意见仅中度一致。层探针实验表明,图像质量信息在视觉编码器和最后一层语言层中均可线性解码,偏差主要源于最终输出层的读取机制,该层过度奖励色彩丰富度而低估清晰度。
Guoping Xu 等人提出 LeViT-UNet++,这是一种旨在平衡局部细节保留与全局上下文建模的高效编码器 - 解码器架构。该模型引入 Haar 小波多尺度下采样模块以分解特征表示并提取多尺度结构信息,同时开发基于深度卷积的解码器来融合 Transformer 块的全局表示与局部空间特征。
该研究提出一种基于 nnU-Net 的自配置框架,通过复用分割模型的编码器特征与预测概率进行图像级分类。实验显示复杂配置未持续提升性能,最终方案在公开榜单 Overall 得分为 0.8056。该方法在 FLARE 2026 Task 2 四项测试任务中综合排名第一,DSC、NSD 及 AUROC 指标均最优,且推理耗时低于每例 60 秒、显存占用低于 4GB GPU。
针对合成孔径雷达(SAR)基础模型依赖昂贵预训练的问题,本文提出 SARVIA 方法,利用现代多模态大语言模型(MLLMs)已有的视觉编码器作为下游初始化。该方法通过自监督视觉问答任务对 MLLM 进行自适应后预训练,仅需 600 步和 2 GPU 小时即可在六个 SAR 检测与分割基准上超越专用基础模型。研究将重点从重复的昂贵预训练转向可复用的专业化过程,并开放了数据集与代码。
推荐理由:提出 SARVIA 方法,利用现有 MLLM 视觉编码器通过自监督微调实现合成孔径雷达任务的高效适配。
论文 Cross3DGS 针对手持设备捕获场景需回传工作站训练的痛点,提出一种跨厂商、跨平台的 Vulkan 训练器。该方法在保留单一优化器的同时,根据设备限制和驱动表现动态选择执行计划,支持 NVIDIA、Intel、Arm、Qualcomm、AMD 及 Apple GPU(含 Android 与 iPhone)。
推荐理由:Cross3DGS 提出跨厂商 Vulkan 训练器,在移动端实现高质量 3DGS 训练并优于现有工具。
针对动态场景渲染中形变网络评估计算量大的问题,上海交通大学团队提出 CueSplat 后训练框架。该方法利用局部时序规律预测高斯属性,通过轻量级路由器在离线校准的预算内选择需精确更新的索引,并复用邻近帧的选择结果以降低开销;同时引入漂移信号调度全形变帧以控制误差。
Edge-Adaptive Hiera-Seg 模型通过融合多朝向视觉辐照度数据,在边缘控制器上实现短临期建筑光伏功率预测。该架构利用分层区域提取与自适应模块处理缺失帧、延迟及局部阴影变化,输出包含置信区间的主导证据贡献分析。实验基于未见过的多建筑数据集验证了其在不同朝向下的泛化能力,旨在支持微网调度与运营规划。
DEEP 基准通过 KITTI 和 nuScenes 数据集评估感知计算对下游决策的实际增益,发现 34%–54% 的感知模式升级反而增加损失。研究指出仅凭漏检率提升选择信号会导致平均测试决策增益降低 7.4%,且引入 20% 延迟预算后仅轻量级路由器优于随机策略。该工作强调应以预算受限的决策预言机为基准,而非将全精度推理视为上限。
该论文提出 Chameleon 框架,将量化格式本身作为离散变量,按权重通道和激活层动态从 INT8、FP8 等集合中选择,而非固定单一格式。在 SDXL、PixArt-$\alpha$ 等模型上,该方法在所有位宽设置下均取得最佳 FID,推理速度较 FP16 提升 1.09 倍且权重体积缩小 3 倍。材料为预印本,未提及同行评审状态或开源代码仓库。
推荐理由:提出 Chameleon 框架,通过动态选择激活与权重的混合格式在固定位宽下实现最佳 FID 与推理速度提升。
Vladimir Iglovikov 发布基准,实测八种图像输入流水线向 NVIDIA L4 交付同步 CUDA float16 批次的速率。在共享的 34 个配方中,DALI 以 19.7 batches/s 的中位速度领先 AlbumentationsX(17.1),且峰值显存占用为 1,872 MiB 对比 AX 的 404 MiB。
论文介绍了一种名为 FlowTool 的新方法,通过将基于工具的图像编辑任务建模为流匹配问题,直接对输入图像和用户指令条件化地生成高质量工具参数的分布。该框架结合了视觉语言模型骨干网络与扩散 Transformer 参数生成器,无需自回归推理即可有效完成结构化连续编辑参数的生成。
Quasi-SVD 通过左奇异向量的李参数化代数与软约束,实现了 GPU 友好的并行矩阵分解。该方法在 MNIST 去噪、穆勒矩阵偏振测量及超声定位显微镜等任务中,相比精确 SVD 提速 2.6--67 倍且保持高重建保真度。该预印本论文(arXiv:2607.25967)展示了跨仪器与尺度的稳健域迁移能力,显著加速了成像流水线处理。
针对扩散 Transformer 在生成超训练范围分辨率时性能下降的问题,本文提出 SEGA 方法。该方法无需额外训练,通过在去噪步骤中根据潜变量的空间频率结构动态调整 Rotary Position Embeddings 各组件的注意力缩放比例,从而改善高分辨率合成中的结构一致性与细节保真度。实验表明,SEGA 在多种目标分辨率下均能提升生成质量,优于现有免训练基线。
针对长视频理解中密集采样导致视觉 token 过多、稀疏采样易丢失关键证据的问题,论文提出 EchoPrune 方法。该方法无需训练,通过将冗余视频 token 解释为可重建的时间回声来区分新事件与重复信息。利用查询引导的跨模态相关性和帧间对应匹配计算时间重建误差对 token 评分,在固定解码预算下使模型能处理多至20倍帧数,在 LLaVA-OV-7B 上实现5.6倍的推理加速和5%的性能提升。
该论文提出了针对预训练视觉模型的闭式线性探测数据集蒸馏方法 CLP-DD。该方法利用冻结特征的闭式解替代迭代更新,在 ImageNet 基准上相比 LGM 大幅降低计算与显存成本,同时保持或超越性能。代码已开源。
推荐理由:提出 Closed-Form Linear-Probe Dataset Distillation,利用预训练特征闭式解显著降低计算与显存开销。
TinyNeRV 框架提出 NeRV-T(0.80M 参数)和 NeRV-T+(1.68M 参数)两种配置,利用频率聚焦知识蒸馏在 UVG 基准上将 PSNR 平均提升 0.70 dB 至 0.78 dB。研究验证了 INT8 量化近乎无损且 INT4 经重训练适配有效,确立了资源受限场景下容量、监督与精度的实用权衡。该成果已发表于 IEEE Access 2026 年期刊。
针对多模态大语言模型视觉令牌冗余问题,提出 MI-Pruner 方法。该方法基于投影空间中的点互信息(PMI)计算相关性得分,以反映跨模态相关性与模内冗余度。无需依赖内部注意力图或修改架构,即可无缝应用于任何预训练 MLLM 进行推理加速。
针对 GNSS 伪距离群值严重干扰载波相位模糊度解算的问题,本文提出一种结合多普勒一致性与 IMU-里程计运动预测的两阶段伪距筛选框架。该方法在连续跟踪时能将 RTK 三维均方根误差降低 96.18%,并在无多普勒检查时将 10 米离群值检测成功率提升至 99.58%(30 秒后)。研究通过一阶误差模型分离不确定性,利用闭式最小膨胀规则调整代码权重,在深城市峡谷等场景中表现优于惯性辅助基线。
针对机器人遥操作等低延迟沉浸式流媒体应用,研究量化了显著性预测精度带来的压缩收益递减规律。实验表明,仅需 52 FPS 的轻量级预测器即可捕获真值预言机 65% 的码率节省,而算力增加 38 倍后无额外增益。因此,在延迟受限场景下采用轻量级显著性预测器是兼顾性能与效率的实用选择。
合成预训练仅在真实数据稀缺时(10%)为 CNN 模型带来显著增益,全量数据下无提升。ESP32-S3 推理耗时 152.7 ms 且能耗增加 16.3 mJ,RP2040 则慢约十二倍并超出闪存容量限制。研究强调需验证 INT8 输出与参考内核的一致性,而非依赖主机评分。
Lasso 首次逆向工程 Intel QuickAssist Technology (QAT) 微架构,将其转化为测量仪器以构建低成本高性能检测器。在文本检测任务中,Lasso 对原始 DetectRL 文本准确率达 100%,经改写后平均准确率为 92%(Binoculars 为 78%,DetectGPT 为 55%),推理延迟仅 0.74 微秒且能耗降低超 99%。
针对混合固态激光雷达数据与传统旋转式传感器结构差异导致现有算法失效的问题,作者提出 GHySSeg 方法。该方法通过追踪扫描曲线并读取高度步长与距离回折两个几何特征,无需训练且无需 GPU 即可实现地面与可行驶道路的实时分割。
针对权重分解方法因矩阵替换引入开销导致延迟降低困难的挑战,本文提出平衡双权重分解(BTWF)方法。该方法在共享基元设置下利用孪生层结构减少推理时间,并通过因子分量平衡与块贡献平衡优化性能。实验表明,BTWF 在六个模型九个基准测试中相比最先进方法提升 2-6%,无需昂贵的微调即可实现效率与性能的平衡。
ScoutCache 是一种无需修改预训练模型参数的免训练框架,联合优化去噪、历史 KV 读取及缓存构建。该方法在 Self-Forcing 和 LongLive 数据集上分别实现了最高 2.28 倍和 1.86 倍的推理加速,同时利用 VBench 和 MovieGen 评估证实生成质量持续提升且无参数改动。
针对视觉语言动作(VLA)模型推理成本高且注意力分数无法直接衡量 token 对动作影响的问题,该方法定义动作敏感度并解决在线评分导致的剪枝图锁定偏差。通过离线计算全图敏感度并蒸馏至不足 30 万参数的学生模型,在推理时无需反向传播即可进行评分引导的多样性选择。
推荐理由:POKE 方法离线计算全图动作敏感度并蒸馏至小参数学生模型,在 LIBERO 等基准上实现高效剪枝与高成功率。
论文提出 ReAccess 轻量级框架,旨在解决视觉语言模型(VLM)难以有效利用已编码关键视觉证据的问题。该框架在单次视觉预填充阶段构建紧凑的关联记忆,支持渐进式证据检索以引导注意力查询和隐藏表示,从而在不进行重复图像编码或显式推理痕迹的情况下实现有效的视觉定位。实验表明,该方法在通用视觉理解和细粒度感知方面均取得一致提升,且推理速度显著快于现有的高计算量方法。
针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。
MVSTF 提出端到端多分支网络,利用时序点云生成多视图图像与特征差异,并行提取时空及维度特征以解决动态环境下的边界模糊与遮挡难题。该方法在 SemanticKITTI 和 KITTI-Road 基准上实现最先进结果,并在隐藏测试集表现优异,代码已开源。