InstaGen:基于组共享重要性采样的快速视频生成
论文指出扩散 Transformer 的二次注意力复杂度导致高计算成本,现有 Top-p 选择策略在高熵场景下样本效率低。作者提出 InstaGen,将块选择重构为重要性采样,用精确集合加加权样本替代原有方法,且每个查询簇共享一个样本以适配 GPU 高效执行。
推荐理由:提出 InstaGen 方法,将块选择重构为重要性采样,在 Wan2.1-T2V 模型上显著降低计算成本并提升视频生成质量。
论文指出扩散 Transformer 的二次注意力复杂度导致高计算成本,现有 Top-p 选择策略在高熵场景下样本效率低。作者提出 InstaGen,将块选择重构为重要性采样,用精确集合加加权样本替代原有方法,且每个查询簇共享一个样本以适配 GPU 高效执行。
推荐理由:提出 InstaGen 方法,将块选择重构为重要性采样,在 Wan2.1-T2V 模型上显著降低计算成本并提升视频生成质量。
高通在第九届进博会展出端侧 MoE 智能体演示,展示终端侧 AI 正从解决具体任务向意图理解、任务编排及实时操作 App 等复杂规划类任务演进。该演示由高通与 Infris AI、江波龙、阶跃星辰共同完成,通过模型、推理、存储和芯片平台的协同优化,旨在在有限内存功耗下提升端侧模型运行效率。
该研究调查了在策略蒸馏中,因量化和异步生成导致的训练 - 推理失配对模型质量的影响。实验表明 OPD 对一定程度的失配具有鲁棒性,但超过阈值会退化;部分层对低精度更敏感。作者提出了轻量准入检查以筛选配置,并给出了 FP8 配方,在保持质量的同时显著提升了 KV-cache 容量和训练速度。代码已开源。
PPIO 沙箱把独立执行环境封装为开箱即用的 API,解决 Personal Agent 需常驻、主动推进及动手能力的架构难题。该方案支持冷启动平均不到 200 毫秒,实测 25000 并发下成功率 99.8%,提供暂停恢复与克隆功能以保障任务长时运行。作为国内首款兼容 E2B 接口的沙箱,其上线一年创建规模增长超 120 倍,每日运行量达上百万次。
墨芯人工智能近日完成近10亿元人民币C+轮融资,距上一轮仅过去5个月。该公司长期深耕稀疏计算领域,其S30计算卡在MLPerf Inference测试中连续三届夺冠。在应用层面,墨芯芯片助力遥感影像分析模型实现推理吞吐最高提升2.88倍、模型压缩最高达7.64倍。新一代板卡SP200及软件栈SECA即将发布,公司还发起了稀疏计算产学研联盟。
北汽研究总院确立“产品为王”战略,构建可插拔式"1+N"元境 AI 大模型平台以整合行业资源。该平台已搭载于北汽、极狐品牌超 44 万辆车型,累计处理请求超 22 亿次及 tokens 达 10.59 万亿,日均技能请求超 684 万次。系统通过端云一体架构实现从台架验证到量产落地的全流程闭环,提供主动感知与全域互动能力。
FedDyMem 通过动态记忆库与加权平均压缩技术,在无标签样本下实现工业与医疗场景的分布式异常检测。该方法在十一数据集构建的六项任务中,相比传统参数交换显著降低通信开销并提升特征分布一致性。实验证实其在减少信息泄露的同时,持续改善了异常定位效果与重建抗逆性。
论文介绍 ActQuant,一种针对视觉语言动作(VLA)模型的动作引导混合精度后训练量化框架。该方法通过跨张量比特分配器根据动作预测贡献度分配位宽,并利用动作感知曲率优化块内量化尺度。
EgoKit 工具包在 Android、iPhone、iPad 等六种异构设备上实现了统一的 Egocentric 视频录制工作流,并支持头姿与 OpenXR 标准手部追踪。基于该工具采集的 HumanEgo 数据集经仿真验证,策略在 100 个未见布局中完成立方体放置任务的成功率为 60%-74%,表现接近 Project Aria 数据训练的效果。代码已开源供机器人学习与具身智能研究使用。
该研究提出利用从源任务提取的‘量化向量’来修补目标模型,从而在不进行接收端量化感知训练的情况下,将 3 位量化的 Top-1 准确率提升最高达 60%。该方法在多个视觉与语言模型及超过 30 个任务上均显示出显著增益,且无需接收方验证数据即可实现零样本、低成本的极低比特部署。论文还严格证明了量化向量的良定义性及其不受重参数化对称性的影响,并从局部几何角度解释了其作用机制。
TinySense+ 是一种针对资源受限设备 Wi-Fi 人体姿态估计的高效压缩框架,通过向量量化生成对抗网络编码信道状态信息(CSI),并利用因果 Transformer 预测条件概率以进行算术编码。
该研究提出 QuantDemoire 框架,旨在解决去莫尔条纹深度学习模型在边缘设备部署时的资源限制问题。针对直接量化导致的性能下降,该方法引入异常值感知量化器以减少激活和权重的分布误差,并设计频率感知校准策略以抑制低比特量化带来的带状伪影。
论文介绍 SSoG,一种用学习到的轴因子化高斯核混合替代稠密自注意力的可分离求和高斯空间算子。相比点积自注意力,SSoG 具有全局 Lipschitz 连续性,保证连续深度变体在积分区间存在唯一解。
该系统利用车把摄像头与视觉语言模型(VLM)提取交通属性,结合开放街图数据通过可解释增强机器(EBM)预测骑行安全评分。在伦敦两条路线的 1,362 帧标注数据上,模型 CPU 推理耗时 0.4ms,二元分类准确率达 72.2%,物理车道分离贡献 +0.97 分。重编码后以 54 Mbit/s 支持千名骑手连续监测,误差仅增加 1.4 个评分点,为基础设施成本效益分析提供直接依据。
针对视觉语言动作模型推理昂贵且易受背景干扰的问题,论文提出 T3R 框架,通过分割引导剪枝移除无关视觉 Patch,再利用显著性引导注意力偏置聚焦关键区域。在 LIBERO-Spatial 基准上,该方法去除 85% 的视觉 Token 同时保持成功率,并在分布外扰动下提升最多 7 个百分点,推理耗时降低约 3.3 倍。
arXiv 论文 ProQuant 提出一种针对低比特多模态大语言模型(MLLMs)的权重 - 激活量化感知训练框架,旨在解决资源受限边缘设备的部署难题。该方法首先通过自重标方案对齐微调数据与预训练数据的分布,其次首创将多模态理解与语言建模能力解耦,利用渐进式块激活机制优先恢复多模态理解性能并引入视觉敏感因子识别关键层。
推荐理由:提出针对低比特 MLLM 的渐进式量化感知训练框架,通过自重标与解耦机制显著改善 W4A8 精度下的性能。
PACE-NAS 框架在 Grove Vision AI V2(Ethos-U55)上实现光流模型搜索,将峰值 SRAM 降低 18%。最快变体 MCUFlowNet-S 比重训 EdgeFlowNet 快 1.76 倍且误差仅增 1.6%,仿真森林飞行以 2 m/s 速度无碰撞达成目标的成功率达 51.5%(基线为 41.8%)。代码已开源,论文提交至 IEEE ISCAS 2027 待审。
论文提出 QMapAnything 框架,针对前馈 3D 重建模型中异质 Token 共享激活量化网格的挑战,证明传统的浮点保持旋转和平滑属于 Token-Blind 重参数化组,仅带来共模增益而保留相对 Token SNR。
推荐理由:提出 QMapAnything 框架,证明旋转与平滑属于 Token-Blind 重参数化,结合统计量 Gamma 预测差异化偏差修正需求。实验显示 W4A8 精度接近全精度,W8A8 显存降低 2.2–3.1 倍且速度提升最高 3.1 倍,为资源受限边缘端部署前馈 3D 重建模型提供高效方案。
STAG-Net 提出一种结合运动感知选择与紧凑 DeepSet 编码器的轻量级头部姿态估计方法,在 300W-LP、AFLW2000 及 BIWI 数据集上实现最低平均绝对误差。
该系统利用分布式压电传感器在抓取早期阶段实现物体识别,实验显示增加传感单元可提升所有方法的性能。基于时空热力图与 2D-CNN 的最优配置(32 个传感器、100ms 时间窗)在嵌入式边缘平台运行,接触后约 101ms 完成端到端识别,单次推理能耗为 63.8 微焦耳,F1 分数最高达 0.9903。
针对应用于三维医学扫描的视觉语言模型面临的结构性内存墙问题,本文提出 TACT-KV(Tri-Axis Cosine Transform),这是一种无需校准的 KV Cache 压缩方法。
PreSTP 框架通过利用去噪轨迹中的早期清洁估计,无需重训或辅助预测器即可识别跨帧与跨步冗余。在 5 秒生成任务中,该方法相比 TeaCache 和 FlowCache 基线实现 1.52x-3.20x 加速并优化效率 - 保真度权衡;30 秒生成时最高达 1.96x 加速且抑制长视界漂移。该研究在极端单步模式下仍有效降低推理成本,论文已上传 arXiv 待注册 DOI。
梅赛德斯 - 奔驰连续第九年参展进博会,展示中国团队主导的迈巴赫 S 级后排娱乐系统及与 Momenta 联合开发的城区及高速领航辅助驾驶系统。全新纯电 GLC SUV 配备专为中国客户开发的虚拟助手“小奔”。双方还与同济大学签署备忘录,将在辅助驾驶、智能座舱等领域开展联合研究。
在 AI 工厂中,高带宽内存(HBM)是速度最快但成本最高的存储层级。NVIDIA 指出,冗余权重拷贝、空闲会话的 KV 缓存或重新计算的前缀均浪费字节资源。核心问题已从 GPU 拥有多少内存转变为每字节能产生多少有效工作产出。
FrontierPhysics 是一个由 42 位物理学家基于自身研究设计的端到端基准,包含 56 个涵盖理论、计算和实验物理的任务。该基准要求智能体完成文献综述、制定计划、开展研究与实验并产出结构化输出及科学手稿。
SLICEChat 在混合 Mamba-Transformer 编码器中引入语言监督的区域感知剪枝,解决全切片图像的可扩展性挑战。该模型在 SlideBench VQA 任务上 TCGA 队列准确率达 79.84%,BCNB 队列为 59.09%,优于既往全切片病理多模态大模型并拥有最佳综合指标与推理延迟。论文已获 WACV 2027 接收,代码、项目页及 PDF 均已公开。
论文提出一种针对小波卷积(WTConv)的 I/O 感知重构方案,通过芯片内重算 Haar 分析、合并多级合成级联及折叠通道尺度等代数变换,将 HBM 流量降低约 2.55 倍。在保持算术计算量相当的前提下,相比参考实现训练速度提升最高 4.35 倍且峰值内存减半,解决了小波卷积因高带宽显存移动过多导致的系统开销问题。材料为 arXiv 预印本,已获 TMLR 录用。
PointRAFT 是一种引入专用高度嵌入的深度学习回归网络,旨在解决因作物自遮挡导致的部分点云在估算性状时产生的系统性误差。该模型在操作中的马铃薯收获机上实测,对测试集 5,254 个包含 172 个块茎的点云实现了 11.7g 的平均绝对误差和 17.1g 的均方根误差,优于六种无高度嵌入的网络。其预处理与推理仅需每点云 6.3ms,满足商业收获机的高吞吐量需求,代码、权重及部分数据已公开。
论文提出了 AEGIS,这是首个面向 3D Gaussian Splatting 表示的身份掩蔽框架。该方法通过对基础颜色系数施加对抗扰动,在保持头像感知真实性和动画可用性的同时,将自动人脸识别准确率降至近零。评估显示其保留了年龄、性别等关键属性,并引入了跨视角泄漏度量指标。材料为预印本版本,已接受 WACV 2027。
该论文介绍 EgoM2P,一个针对首视角(egocentric)视频的深度理解框架。面对 RGB、深度、姿态和视线等多模态数据异构及伪标签生成的挑战,作者提出高效的时间分词器与掩码建模方法。
该论文提出一种无需训练和遮挡标签的遮挡检测方法,通过分析相机管道计算出的表观高度与单目度量深度之间的差异来识别遮挡情况。实验显示该方法在 KITTI 数据集上对行人检测(含漏检样本)达到 AUC 0.888,在合成 CARLA 场景中表现优于仅依赖距离的方法。研究指出传统架构响应如深度融合或数据增强在未覆盖的分布中效果有限,且模型在不同地域场景间泛化能力存在显著差异。
针对计算机使用代理(CUAs)在处理长视野任务时因视觉 Token 过多导致的高计算成本问题,本文提出 Visual Token Routing (VTR) 框架。
针对视觉语言动作模型(VLA)推理耗时可能超过机器人实时需求的问题,本文对七种推理优化方法进行了全面测量研究。研究在从数据中心 H100 到嵌入式 Jetson Thor 的四类 GPU 上评估了七个最先进的 VLA 模型,分析了 CPU 启动开销、内存带宽和内核效率如何共同影响优化收益,以及单一方法的改变如何影响其他方法的增益。
针对视频档案分析中解码耗时的问题,该方法引入 CoDecide 系统,仅对出现新内容的帧进行解码。通过监督一个轻量级学生模型学习来自冻结 DINOv2 教师模型的无标签新颖性信号,该系统能区分运动与场景中新出现的物体,从而在无需针对每台相机重新训练的情况下实现泛化。
推荐理由:提出一种利用冻结教师模型信号在压缩域识别新内容的解码策略,显著降低视频分析算力开销。
EfficientNet-B0 至 B7 八种变体在 Kermany 数据集上评估,B1 以 96.95% 测试准确率和 0.8780 干眼斑 F1 值表现最优。研究揭示更大模型并未持续提升分类性能,且准确率与参数量比显著下降。该结果基于灰度转 RGB 及预训练微调协议,结论受限于特定数据划分。
针对多模态大语言模型在依赖细微视觉细节时易产生幻觉的问题,该研究提出 DreamRealm 后训练框架。该方法通过 RealmForgePipe 挖掘目标模型的观测及潜在幻觉,利用图像编辑将其具象化为有效样本,构建了 Realized Hallucination Dataset (RealmSet)。
针对自回归视频模型在长序列生成中的显存与计算瓶颈,论文提出 NanoKV 框架,通过冻结骨干网并利用 Token 与注意力头的冗余性实现高比率 KV 缓存压缩。
推荐理由:NanoKV 提出冻结骨干网的高比率 KV 缓存压缩框架,在视频生成任务中显著降低显存占用并提升推理速度。
针对大视觉语言模型处理多张输入图像时视觉 Token 预算激增的问题,现有基于注意力的剪枝方法在多图基准上表现不佳且存在位置偏差。本文提出 RI-Prune,这是一种无需训练、不依赖注意力机制的预解码器选择器。
推荐理由:针对多图像场景下注意力机制失效问题,提出无需训练的 RI-Prune 方法,通过查询相关性与跨图对应关系实现更优的视觉 Token 剪枝。
该论文研究了边界层滑动模式控制(SMC)在视觉稳定任务中的激活条件,提出“植物绑定”即扰动速度接近或超过执行器扫掠极限是关键阈值。研究在手持平移稳定和虚拟 PTZ 俯仰变焦两个独立领域验证了该结论:在非绑定条件下 SMC 与低通滤波效果相当且不如 PID;仅在通过仿真降低扫掠极限进入绑定条件时,SMC 在角向最坏情况下的表现优于 PID。
MAEP(Modality-Aware Expert Pruning)提出一种免训练框架,通过分解模态重要性实现专家剪枝。该方法将文本侧作为保留信号、视觉低注意力 Token 作为剪枝信号,在三个 MoE-MLLM 基准上优于无感知基线,使约 58 GB 模型权重适配单张 40 GB GPU。代码已开源,论文待 NeurIPS 2026 评审。