ReTrace:面向高效多模态大语言模型的视觉回溯压缩方法
针对多模态大语言模型(MLLMs)将图像编码为稠密视觉令牌序列导致的高计算开销问题,本文提出 ReTrace 框架。研究指出早期低显著性令牌在中间层仍会主动检索上下文,因此引入休眠令牌状态以缓存非关键令牌而非直接删除。
针对多模态大语言模型(MLLMs)将图像编码为稠密视觉令牌序列导致的高计算开销问题,本文提出 ReTrace 框架。研究指出早期低显著性令牌在中间层仍会主动检索上下文,因此引入休眠令牌状态以缓存非关键令牌而非直接删除。
针对视觉 - 语言 - 动作(VLA)模型在车载实时推理中参数规模过大导致能耗高、续航受限的问题,本文提出 Scene-Adaptive VLA 框架。该框架利用动态层路由机制,根据场景感知复杂度和决策偏差分配预算,从而调整活跃参数比例并选择适当的层组合。
该论文提出了 Zero-Data Semantic Segmentation (ZeroDSS),一种无需目标域图像、掩码或描述符,仅依赖预定义类别集进行训练的数据无关语义分割方法。
针对高分辨率大视觉语言模型(LVLM)推理时的计算瓶颈,本文提出一种免训练的层级化 Token 剪枝框架。该方法利用查询引导在 LLM 块执行前进行动态预算分配:先在实例级根据视觉复杂度调整保留比例,再在裁剪图级别通过跨模态相似度分布预算,最后在 Token 级别结合投影特征与文本查询嵌入计算细粒度对齐分数并去偏。
PACE 是首个专为原生多模态大模型(Native MLLMs)设计的视觉 Token 压缩框架,利用多维解耦与帕累托优化在保留 25%-50% 视觉 Token 时实现近无损性能并降低超 2 倍 FLOPs。该工作基于 NeurIPS 2026 接收论文提出,针对 ViT-free 架构特性解决了现有方法不适用的问题,显著提升了推理效率。
Geo-vision 是一种用于车辆部件损伤分类的方法,采用固定表示形式结合外观、多尺度几何、方向及采样的数字拓扑特征。该方法通过连通分量、孔洞、欧拉示性数等拓扑信息补充对幅度敏感的池化操作和受监督的树分类器,并建立了幅度保持、轴向符号不变性及条件算子稳定性。
论文提出 VERDICT 插件框架,利用小型视觉语言模型对文档提取结果进行证据定位与置信度校准。实验显示,微调后的 VLM 在严格阈值下能保持高 AUROC,且开放权重模型比闭源 API 更能提供内部状态用于校准。材料为 NeurIPS 2026 录用论文,未涉及真实机器人部署或物理仿真场景。
该论文研究了分层视觉 Transformer 中注意力功能的局部移动性,发现仅迁移头部不足,需联合适配周围表示边界并保留特定归一化与预处理才能维持功能。研究将 SegFormer-B5 的 120 个保留头从 40 个执行深度重组为 20 个执行枢纽,在布局匹配的恢复控制下,K20 架构达到 0.960686 mIoU,与 State120 对照无显著质量惩罚。
AutoPruner 是一个由 LLM 智能体驱动的框架,旨在联合搜索 VLA 模型的剪枝结构与恢复方案以平衡模型大小与性能。该框架通过离线层干预测量动作输出变化作为功能证据,结合评估历史提出删除集和恢复策略并在目标任务上执行验证。
该研究评估将视觉语言模型集成到自主无人机导航时的时序瓶颈与操作权衡。通过在高性能工作站和受限笔记本上的压力测试,发现轻量级模型易产生破坏确定性状态机的结构幻觉,而重型模型因推理延迟导致轨迹过校正。研究表明中权重架构能在不同硬件配置下恢复退化环境的导航能力,同时保持实时稳定性。
在CSDI Summit峰会上,商汤大装置副总裁宣善明分享了Agentic时代AI基础设施的实践。面对Token需求千倍级增长与高端芯片供给受限的矛盾,商汤探索以PD分离为核心的万卡级异构推理集群,利用国产算力承担Prefill、高阶GPU承担Decode,在临港AIDC实现整体Token吞吐量提升5倍。
阿里巴巴达摩院在RISC-V中国峰会发布首款同时达到ASIL-B和ASIL-D标准的RISC-V CPU IP“玄铁E908A”,单点安全度量超过90%。会议还首次发布了面向自动驾驶和具身智能的产品路线图,下一代C950A目标性能为现有车规产品的5倍。此外,达摩院展示了玄铁C950在Agentic AI工作负载上的表现及多核互联升级成果。
PNY 推出搭载 NVIDIA RTX PRO 6000 Blackwell Max-Q Workstation Edition GPU 的桌面工作站,单系统最多集成四颗芯片提供高达 14.2 PFLOPS 算力及 384 GB 显存。
NVIDIA CUDA Tile (cuTile) 作为基于 Python 的 DSL,利用高级硬件能力自动优化 tile 级 GPU 编程以交付峰值性能。该模型通过抽象线程和 warp 级调度,使开发者能用 Python 编写 GPU 内核并享受编译器自动优化带来的加速效果。
该研究针对视觉语言模型计算成本高、视觉 Token 数量大的问题,提出 TORINO 框架。该方法无需微调底层模型,利用稀疏自编码器将视觉 Token 投影到可解释潜在空间,通过定义概念重叠度对共享语义内容的 Token 进行分组,进而执行剪枝或合并操作。实验表明,TORINO 能根据输入复杂度动态调整压缩率,在显著减少视觉 Token 数量的同时保持最小性能损失。
针对现有神经架构搜索(NAS)受限于预定义搜索空间,以及大语言模型辅助方法因设计想法偏差导致探索效率低的问题,本文提出利用 LLM 分析论文并填充高层结构模板以构建丰富且多样化的搜索空间。
论文提出 SpikeQ 框架,针对脉冲神经网络(SNN)在类脑芯片上的低比特需求,通过模拟下游神经元选择权重并构建复位感知网格来优化膜电位量化。实验显示,在 2 位预点火膜电位下该方法优于现有所有网格方案;在 4 位精度下模型保持接近全精度性能,同时内存占用减少 7.8-7.9 倍,能耗降低 6.4-6.9 倍。
FedRAPP 提出一种个性化聚合框架,解决源数据缺失下非独立同分布客户端的提示漂移问题。该方法结合可靠性评估、服务器端指数移动平均记忆及相似度引导同伴聚合,在九个 CLIP 基准数据集和 ImageNet 变体上持续优于标准联邦聚合基线。研究验证了该方案在保持仅提示微调效率优势的同时,显著提升了异构分布下的鲁棒性。
F-LIVO 是一种基于滤波器的激光雷达 - 惯性 - 视觉里程计框架,通过视觉点与激光雷达平面之间的特征层面点对平面约束耦合视觉 - 惯性与激光雷达 - 惯性子系统。
针对大视觉语言模型在处理视觉令牌时计算与内存成本高的问题,该研究提出了一种无需训练的 CatchUp 框架。该方法通过深度感知的机制重新评估查询条件化的视觉相关性,仅处理选定的视觉令牌,并利用参考轨迹信号近似缺失的表示演化,从而在减少活跃视觉令牌数量的同时保持高性能。
论文提出 Sink-Sparse Hybrid Attention,这是一种无需训练的注意力替换方法,通过复用静态 sink masks 并补充轻量级 pooled-KV 分支来加速扩散 Transformer 的推理。
推荐理由:该方法提供无需微调的推理加速方案,在保持生成质量的同时实现约1.5倍端到端速度提升。
针对室内工地光照差、遮挡多及着装风格多样导致的工装合规判断难题,本文提出 DICL-Qwen3VL 模型。该方法基于 Qwen3-VL 进行低秩适配以定位可见上半身衣物并识别工装,利用 Token 熵与图像扰动敏感性监督视觉置信度,并通过组相对策略优化联合提升检测精度、输出有效性与置信度校准。
该研究针对视觉语言模型在开放世界场景下无法重训骨干网络的挑战,提出 COMET 框架以应对模态一致性漂移、表征空间干扰及单任务容量不足三大压力。方法上利用冻结教师提供特征参考,通过三亲和力蒸馏保持几何结构,并设计学生感知跨专家蒸馏使路由错误优雅降级;同时分离容量与推理机制,利用上下文多臂老虎机管理专家合并,结合重建路由器在测试时稀疏选择专家。
该论文提出了一种针对车载摄像头系统级芯片(SoC)的速度限制标志识别方法,旨在满足设备的内存、算力和能耗预算。研究采用两阶段架构:检测器基于 YOLO 系列网络,通过通道回放技术去除参数;分类器为五层 CNN,仅使用整数算术运算。
MedSTP 提出了一种免训练的预解码剪枝框架,通过估计 Token 的主成分谱支撑并构建紧凑表示子空间来保留局部边界与纹理证据。该方法在 SLAKE、OmniMedVQA 及 RadImageNet-VQA 基准上,基于 Lingshu-7B 和 Qwen3-VL-8B 骨干模型均实现了闭卷与开卷任务的一致强性能。研究证明该框架能有效解决医疗图像剪枝中易丢失关键视觉证据的风险。
针对边缘设备硬件异构、软件栈碎片化及资源预算紧张的问题,该研究提出了 EdgeKernelBench 基准测试框架和 LEKA 分层优化代理。实验表明,直接生成的最佳模型 Correct@1 为 64.5% 但 [email protected] 仅为 25.5%,功能正确性无法保证性能收益;引入分层 IR 的 LEKA 在同等条件下将 [email protected] 提升至 43.5%。
Hugging Face Daily Papers 发布了一篇题为《Muse Glimmer 30B: An On-Device Agentic Model》的论文,介绍了一个开源的 30B 参数因果语言模型。
磐虎智能宣布完成由普华资本、恒择资本投资的数千万天使轮,资金将用于研发 TigerMind 多维感官认知世界模型及端侧智能系统。该公司以创始人侯迪波(浙大教授)和联合创始人林锋(前钉钉副总裁)为核心团队,构建围绕物理交互智能 PII 的技术体系。目前企业已与城市公共事业、工业基础设施等领域伙伴开展场景共创。
理想汽车旗下芯片子公司上海马赫心科技有限公司签署首轮股权融资协议,融资金额16.25亿元人民币,由杭州经韬、蓝驰创投及华业天成领投。本轮融资将支持公司持续推进芯片研发与商业化,推动其在非汽车领域的业务拓展。目前自研的马赫M100芯片已搭载于新一代理想量产车型,理想汽车仍持有该公司74.01%股权并保持控股地位。
PLSP 提出了一种从后验检测转向预知预测的框架,通过引入数据集无关的可信度分数(CREDS)及可信度曲线来评估分布外数据风险。该方法在多个数据集上的实验证明能有效提升模型鲁棒性,相关成果已作为 EUSIPCO 2026 接受论文发表并开源代码与权重。
TwinPrune 提出统一空间密度信号,分别优化预填充阶段的二分合并与解码阶段的 KV 驱逐,在七种模型变体上实现算力、内存与精度的帕累托最优。该方法以 0.125 保留率在 TextVQA 任务上超越 H2O 基线 9.6 分,且压缩效率随模型规模增大而提升。代码已开源,建议将 MM-Vet 或 DocVQA 作为解码阶段剪枝的强制验证基准。
arXiv 论文介绍 EV-JEPA,一种单次训练即可在智能眼镜、手机、机器人及服务器等异构边缘 - 云端连续体上部署的视觉基础模型。该模型具备可重构宽度和原生跨设备分区能力,核心采用过渡感知三元组训练(T3),使同一权重同时支持单设备和跨设备执行。
针对多模态大模型处理大量视觉 token 导致计算成本高的问题,本文提出 MiCo,一种无需训练的兩阶段剪枝方法。该方法利用语义擦除模型从任务对数损失推导通用的互信息覆盖目标,先在视觉信号中选择代表性候选池,再在池中执行任务感知的子集选择。
WHTMix 用数据无关的沃尔什 - 哈达玛令牌混合器替代立体 Transformer 中的联合自注意力,在合成驾驶数据上匹配基线端点误差的同时,将模型计算量降低 2.46 倍、单图推理延迟降低 2.65 倍。该方法利用序列长度与通道宽度的比率优势优化高分辨率场景,并引入混合对数视差损失函数以零额外开销提升远距离物体精度。
ResStreamGS 提出残差敏感双流框架,针对全场景内容中大量高斯属性时序稳定的问题,将稳定部分每 GOP 传输一次而仅对残差敏感部分进行帧级硬件解码。实验显示该方法在复杂全场景体素视频上相比 V$^3$基准提升后编码 PSNR 0.84dB(7.51--8.35 dB 区间),降低平均负载高达 56.5%,并在高通骁龙 778G 平台实现 30.883 FPS。
论文 FastVLA 针对 VLA 模型闭环部署中的推理效率瓶颈,提出一种无需训练的、任务感知的且随时间自适应的视觉 Token 压缩框架。该方法通过任务到视觉注意力评分 Token 重要性,并利用逆辛普森指标在线校准动态调整压缩率。
该研究构建了基于 AMD Kria KR260 嵌入式 FPGA 的相机端 3D 占用网络前端 FALCON,通过可编程逻辑计算与看门狗机制实现了每帧 100ms 以内的确定性延迟保证。
针对传统感知规划栈将行人、车辆和墙壁等同处理的缺陷,该研究提出一种模块化全机载管道,利用共享 BLIP 编码器生成场景描述与分割,结合深度信息在三维空间定位障碍物。
推荐理由:该工作提出在 Jetson Orin NX 上运行的轻量化 LLM 导航方案,通过缓存推理与检索增强实现人感知的安全避障。
针对能量受限的微空载体(MAV)在复杂环境中的导航需求,本文提出首个端到端事件驱动的神经形态导航范式,整合神经形态视觉、脉冲神经网络与神经形态处理器。该方法通过脉冲感知表征模块从事件流提取环境表示,再经脉冲导航模块利用引导学习与群体编码实现高效策略学习,最终输出可执行轨迹点。
FuseAdapt 提出一种在冻结视觉基础模型适应空间内执行融合的框架,通过轻量级分支与预测性模态建模(PMM)处理测试时缺失数据。该方法在 MCubeS、DELIVER 和 MUSES 三个基准上,相比最先进方法在全模态下提升最高 +3.01 mIoU,缺失模态下提升 +12.56 mIoU。论文共 25 页含 6 图 19 表,已获 NeurIPS 2026 接收且无推理开销。