DecoupAttn:免训练加速视频扩散模型的解耦稀疏注意力机制
DecoupAttn 提出一种解耦稀疏注意力新范式,利用离线固定的位置块进行精确修正,通过语义簇补偿关键特征以消除跨步误差。该方法引入基于率失真目标的预算分配与缓存重分配策略,仅需少量校准片段即可实现免训练加速。代码将在提交后发布,论文包含 35 页正文、16 张图表及 35 个表格。
DecoupAttn 提出一种解耦稀疏注意力新范式,利用离线固定的位置块进行精确修正,通过语义簇补偿关键特征以消除跨步误差。该方法引入基于率失真目标的预算分配与缓存重分配策略,仅需少量校准片段即可实现免训练加速。代码将在提交后发布,论文包含 35 页正文、16 张图表及 35 个表格。
论文介绍了一种名为 CtrlFlow 的扩散模型推理时间引导新方法,旨在解决传统分类无关引导(CFG)需要双次前向传播的问题。该方法通过冻结骨干网络并附加两个轻量级 LoRA 适配器,在单次前向传播中同时输出可解释的基流和引导方向,从而保持与 CFG 相同的接口灵活性且无需重新训练。为对齐推理时的误差放大特性,工作采用了统一的多尺度蒸馏损失、尺度自适应调制和时间网格扭曲等技术来优化训练与求解过程。
推荐理由:提出单步引导方法 CtrlFlow,通过轻量适配器保留扩散模型的可解释基流与引导方向接口,支持推理时调节且无需重训。
论文 VAR-Q 针对视觉自回归生成中 KV Cache 显存占用过大的问题,提出一种无需微调的量化框架。研究发现少量极大值通道承载主要功能负载且沿特征与块两个轴组织,据此设计分组策略利用生成循环中的块边界直接定位异常值,结合位打包内核实现低比特量化。
NVIDIA 开发了 AI Factory Operations Agent,旨在通过单一界面让智能体自动关联分析计算、网络及硬件等多维数据以定位训练性能下降原因。该工具直接应用于 NVIDIA DGX SuperPOD 集群的现场可靠性工程场景,替代工程师需查看多个仪表盘的繁琐操作。
该研究指出传统推测解码仅关注接受率会引入数值噪声并影响长程推理准确性。作者提出通过训练草稿模型在关键决策点被拒绝,利用目标模型进行低噪声推理,在不改变目标模型分布的前提下提升长程代理任务的成功率。材料为 arXiv 预印本,未提及具体部署或评测基准细节。
论文提出 GSCV++ 流水线,通过能量自适应球谐系数降维、基于先验的插值映射及内容感知通用压缩配置,实现低复杂度与硬件兼容。实验显示其相比最先进方法在帧内和帧间预测率失真增益分别超过 20% 和 60%,且编码解码速度更快。材料为预印本,未涉及真实机器人部署或仿真结果。
Subspace Node Pruning(SNP)方法通过正交化层激活将重要性度量解耦,实现在 VGG-16、ResNet-50、OPT-125M 及 LLaMA-2 7B 等模型上的节点移除与性能恢复。
Max Beffert 和 Andreas Zell 提出一种针对非静止系绳多旋翼无人机的实时求解器,将悬链线边值问题重构为单变量超越方程并证明收敛性。通过改进初值和混合求根法,平均求解时间降至 4.0 微秒,较优化后的旧方法快 68 倍且误差极小。该方法已在 ArduPilot 飞行控制器上以 Lua 实现验证,满足嵌入式调度预算。
针对分离编码器统一多模态模型(UMMs)因密集处理视觉 Token 导致推理成本高的问题,本文提出 G$^2$TR 框架。该方法利用生成分支作为任务无关信号,识别对语义理解、潜在空间图像重建及编辑均重要的视觉 Token,通过平衡选择与冗余合并减少信息损失。
TFusionOcc 提出一种基于学生氏 t 分布 T-Primitive 的物体中心多传感器融合框架,通过可变形超二次曲面增强几何表示效率。在 nuScenes 数据集上该方法优于近期最先进方法,并在 nuScenes-C 和 SemanticKITTI 基准测试中展现出跨数据集适用性与鲁棒性。代码将于 arXiv 发布,相关论文版本为 v3。
te-comp 是首个基于 MLIR 的编译器,可将标准 TFLite 或 Safetensors 模型编译为无运行时依赖的 C 代码,包含推理引擎与 RTOS 集成层。
推荐理由:te-comp 是首个基于 MLIR 的编译器,可将 TFLite/Safetensors 模型编译为无依赖的 C 代码,在 MCU 上实现 GPT-Neo 等模型的独立推理。
针对受限于硬件分辨率和信号相关斑点的超声视频,作者提出 UltraDiff 方法,利用冻结预训练扩散模型作为插件先验,在无需配对数据或网络重训练的情况下实现超分与去噪。
推荐理由:提出无需配对数据或重训练的超声视频复原方法,结合斑点感知保真度与冻结扩散先验提升下游测量精度。
该挑战赛提出在骁龙 8 Elite Gen 5 和 Dimensity 9500 GPU 上实现全高清图像增强,要求运行时间低于 300 毫秒。研究基于 iPhone 3GS 与 Canon 70D 采集的 DPED 数据集进行模型设计评估。论文提供完整模型描述,代码与权重开放许可待定。
该报告总结了 Mobile AI 2026 Challenge 中针对移动 GPU 的高效 ISP 模型方案,展示了在骁龙与联发科平台上将 RAW 数据重构为高质量 RGB 图像的工程实践。
针对大视觉语言模型推理时计算开销大的问题,本文提出 BtsPruner 框架,该方法无需训练即可通过识别视觉 Token 从局部细节到全局代表的角色演变过程进行剪枝。实验表明,在 LLaVA-1.5-7B 等模型上,仅保留 32 个视觉 Token(占总数 5.6%)即可保持 91.6% 的原始性能,并在高分辨率设置下实现最高 5.95 倍的 CUDA 延迟加速。
推荐理由:提出无需训练的基于角色感知的视觉 Token 剪枝框架,在大幅减少输入 Token 数量下保持高性能并显著降低推理延迟。
论文提出 StepX-OPD,将原本分阶段进行的多教师同策略能力整合与少步采样合并为单阶段训练。该方法让一个学生在接受冻结专家监督的同时学习少步采样,通过回归低噪声部分的 velocity 来解决 rollout 的 KL 权重速度失配问题,并针对能力整合导致的非请求文本生成问题提供了改进变体。
论文提出了名为 ReCR 的训练免费方法,将自回归视频解码重构为表征引导的上下文重写任务。该方法在每一步利用内部解码器表征构建选定的可见上下文,以匹配全局生成状态、避免冗余并覆盖时间边界。实验表明,ReCR 在多个长视界文本到视频基准上提升了不同自回归骨干网络的性能,且表征空间诊断分析证实优化可见内容是实现更稳定长视频解码的有效路径。
论文提出一种 CUDA 实现的 WENO5+TVD-RK3+Lax-Friedrichs 水平集哈密顿 -雅可比 -伊萨科求解器,可在机器人控制回路内运行。
推荐理由:作者提出了一种可在机器人控制回路内实时运行的 GPU 求解器,为黑盒策略提供形式化安全保证。
该工作探索了在标准动态视觉传感器基础上增加空间滤波和增益控制等生物启发处理阶段的可行性。研究团队首次将多阶段硅视网膜模型部署于 SCAMP-5 像素处理器阵列,并提供了基于 GPU 的仿真框架。
针对视觉语言动作模型在边缘设备因自回归解码导致的低延迟问题,该研究提出 ActionFlow 系统级推理框架。其核心是跨请求流水线策略,将内存受限的解码阶段与计算受限的预填充阶段智能批处理以最大化硬件利用率;同时引入跨请求状态打包前向算子和统一 KV 环缓冲区融合碎片化内存操作。实验显示,在 OpenVLA-7B 模型上无需重训即可实现 2.55 倍 FPS 提升,支持边缘硬件上的实时动态操作。
论文介绍 RIPE-MambaSpike 模型,通过层级多分辨率桥接替代传统投影以消除分辨率依赖,将参数量从数千万降至不足百万。
推荐理由:提出分辨率无关的脉冲 -Mamba 混合架构,在 CIFAR10-DVS 等基准上实现参数效率与精度的帕累托最优。
AI 生成视频(AIGVs)通常包含帧间不一致导致的细微时序伪影。现有视频预训练骨干网因标准全局读出层过度压缩时空信息,导致在检测任务上表现不如图像预训练探针。
针对资源受限机器人无法在端侧部署大参数 VLM 的问题,本文提出 LocalNav 框架。通过蒸馏前沿模型(如 Qwen3.5-4B)的推理痕迹并配合可验证奖励的具身强化学习微调,将 HM3D OVON 基准成功率从 25.97% 提升至 37.36%,接近云端基线水平。
该研究提出融合轻量级生成对抗网络(GAN)姿态前置化与忆阻器神经形态识别的人脸框架,在两个数据集上针对非正面视角变化实现了最高 96% 的识别准确率。此方法有效缓解了传统 AI 的计算瓶颈,为无人机等资源受限平台提供可扩展的高效解决方案。论文已上传至 arXiv,相关代码与数据许可状态未明确说明。
论文介绍 MERIS 框架,用于在计算与时序预算有限的动态机器人环境中执行变化的有向无环图(DAG)工作负载。该方法结合比例中间截止时间、MIMONet 感知的图细化及事件驱动同步,明确区分应用 DAG、内部编解码器图和细化调度图的三种表示形式。
针对资源受限处理器,本文提出全三值化视觉 Transformer(FTerViT),将权重矩阵与归一化参数均转为三值,激活保持 8 位。通过引入 TernaryBitConv2d 和 TernaryLayerNorm 算子及知识蒸馏训练,在 DeiT-S 骨干上以 5.81 MB 体积达到 77.47% ImageNet-1K 精度,优于现有三值化方法。
针对文本到视频扩散模型在推理阶段难以预判生成成败的问题,作者提出了一种实时检测(RI)模块与分层早期退出干预流程。该方法将潜在空间特征转换为中间视频预览以进行对齐评分,并在检测到失败时触发干预,相比事后重试可节省高达 2.64 倍的时间开销。
推荐理由:提出实时检测与早期干预机制,显著降低视频生成失败重试的计算开销。
该论文提出 LIPAR 框架,通过检测并跳过重复的潜在图块计算来提升视频生成速度,同时引入注意力恢复机制以消除剪枝带来的视觉伪影。实验显示该方法在 NVIDIA A6000 上将平均生成速率从基线的 8.4 FPS 提升至 12.2 FPS(提升 1.45 倍),且不降低生成质量,可无缝集成到扩散 Transformer 中而无需额外训练。
针对严重域偏移和嵌入式计算约束下的低光照感知需求,本文提出 FAMDA 框架,将分割与深度基础模型集成到自训练中生成高质量伪标签,蒸馏至轻量级学生网络。研究在手持原型机上验证了该方法在标准合成到现实基准及实地采集数据集上的性能,实现了比直接推理更低内存占用和延迟的实用化路径。
论文提出 SpecPrune-VLA,一种无需训练的、两层级的动作感知自推测剪枝方法,旨在解决现有 VLA 加速方法忽略全局上下文导致成功率下降的问题。该方法结合局部信息与全局历史静态减少视觉 token,并基于层重要性动态剪枝,同时根据末端执行器速度区分粗细粒度动作以调整剪枝强度。
GazeTags 提出一种无需相机和计算机视觉的佩戴式头部注视感知方案,电子标签成本约 2 美元且可运行超一年。系统利用智能眼镜等穿戴设备发射的对齐红外信号唤醒标签,提供身份及物体状态等负载数据。该架构通过规避摄像头流水线实现高能效与隐私保护,已在 UIST 2026 发表并开源代码。
针对生物合理性不足及依赖全局反向传播的局限,研究提出基于流形容量的逐层局部学习信号新策略。该方法在猕猴腹侧流三个区域及人类物体分类任务上,其无监督模型性能匹配或超越所有竞争架构基线。相关预印本 arXiv:2611.02245 已公开提交,代码与数据许可状态待进一步确认。
针对现有 Lipschitz 常数或 Hessian 曲率无法捕捉真实扰动下模型响应变化的问题,本文提出有限差分粗糙度谱(finite-difference roughness spectrum),将标量平滑性与方向性曲率统一在贝索夫理论框架下。
推荐理由:提出有限差分粗糙度谱理论,在图像分类与量化分配中验证了其对噪声鲁棒性与混合精度分配的改进效果。
论文提出了 Uni-LaSpec 框架,通过复用验证器注意力机制和接受度感知训练优化草稿质量,并利用边际成本准则动态分配验证结构以适应不同 GPU 负载。实验显示该方法在六种视觉语言模型上平均保留超过 98.6% 的接受率,吞吐量提升最高达 5.11 倍,并在多种负载场景下优于固定验证策略。
推荐理由:该工作提出负载自适应推测解码框架,在六种大模型与十七项基准测试中验证了其在不同 GPU 负载下的效率提升。
该研究提出一种结合光谱神经网络、规范分位回归及区间算术的框架,为四旋翼飞行器在闭环线性二次调节器下提供可校准的轨迹预测与控制点区间。经重构后的网络在树莓派 Zero 2 W 上实现 3.45ms 的推理时间,含轨迹推断的总流水线耗时 9.81ms(约 100Hz),满足典型控制频率要求。
PlantVLM-Edge 是一个可在资源受限边缘设备运行的量化视觉语言框架,支持离线对话式作物健康诊断。该框架在 NVIDIA Jetson AGX Orin 上验证了 Qwen3-VL-2B 和 LLaVA-1.5-7B 两种模型,其中 4-bit AWQ 量化方案在两个诊断域保留了 98.6% 的全精度回答质量并将权重内存减少 49%。
论文提出 ReVA-HPE 方法解决单目头部姿态估计问题,将任务定义为相对于锚点图像的几何变化估计。该方法通过从单张未标注注册图像重建个性化 Avatar 并渲染已知姿态的虚拟锚点库来消除对真实锚点姿态的需求,利用多锚点共识提供鲁棒的旋转假设,并通过地标 PnP 处理平移分支。
推荐理由:该方法利用合成数据训练实现单目人脸相对 6DoF 姿态估计,无需真实标注即可达到 SOTA 旋转精度。
R$^2$-Omni 提出免训练框架,通过时空相似性整合视频与音频冗余表征,并依据量化键误差分配数值精度。实验显示该方法在长文生成基准上平均降低 5.0 倍显存占用,保留 97.98% 基线质量且实现 1.48 倍端到端加速。该成果发表于 arXiv,涵盖计算机视觉与模式识别领域。
Q-CamTuning 是一款针对直播场景构建的多模态大语言模型,旨在解决现有图像质量评估方法难以识别细微差异及缺乏细粒度解释的问题。该模型基于包含精细图像对偏好与全局局部视觉证据推理的 FGLive-Comments 指令微调数据集开发,采用渐进式感知 - 证据引导框架将质量问题映射至相机参数调整方向。
论文发现标准 InfoNCE 对比学习在扩散 Transformer 训练中因噪声捷径而收益有限,为此提出 Clean Representation-ANchored Contrastive (CRAN) 正则化方法。
推荐理由:针对扩散 Transformer 训练中 InfoNCE 对比学习失效问题,提出 CRAN 正则化方法以抑制噪声捷径并提升模型效果。