ProSE:面向 MoE-MLLM 的语义引导专家跳过与重建误差探测研究
针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。
针对混合专家多模态大语言模型(MoE-MLLMs)中激活专家存在计算冗余的问题,本文提出 ProSE 框架。该方法无需训练,通过探测层间重建误差来促进表示一致性,并构建查询感知的语义掩码以识别关键视觉 token,进而为每层校准模态特定的跳过阈值。
MVSTF 提出端到端多分支网络,利用时序点云生成多视图图像与特征差异,并行提取时空及维度特征以解决动态环境下的边界模糊与遮挡难题。该方法在 SemanticKITTI 和 KITTI-Road 基准上实现最先进结果,并在隐藏测试集表现优异,代码已开源。
该论文提出了一种名为 MomentPnP 的无学习相机位姿估计方法,旨在解决盲视角 n 点(PnP)问题。该方法利用前四个阶次的十四种排列不变图像矩,在无需已知对应关系的情况下初始化相机位姿,并通过期望最大化算法优化位姿与对应权重。实验表明,该方法在三个基准测试集上,无论是否存在异常值,都能将中位数旋转误差降低 5-170 倍,且在 ETH3D 密集扫描中随点集增长精度提升。
该论文提出 QASK-Edit 框架,将视频编辑视为条件生成任务,通过独立评估每个查询在不同关键源(如源视频、参考图像等)上的注意力质量与近似风险来动态调整计算策略。实验表明,该方法在三个视频编辑模型上实现了最高 1.46 倍的端到端加速,同时保持了编辑质量和未编辑区域的保真度,并可直接泛化至参考图生成视频任务,实现最高 1.36 倍加速且维持生成质量。
Counterfactual Feature Steering(CFS)方法通过一次 SAE 训练,在稀疏自编码器潜在空间实现有界推理时概念编辑。该方法在 Celeb-100 的 4,000 个提示词及 COCO 数据集上验证了身份擦除与相邻概念保留的最佳权衡,且跨干预强度保持稳定。研究还通过 ArcFace 独立评估和裸体抑制基准证明了其在 SD~1.4 上的泛化能力。
针对自动驾驶相机记录中的人脸和车牌隐私问题,该研究提出 FM-Anonymize 流程,结合 SAM 3 定位、SAM 3D Body 评估可见性及扩散模型合成替换。
推荐理由:该工作提出无需训练的匿名化流程,在人脸与车牌保护率上优于现有方法,并支持合成替换以保留关键点精度。
MambaVision 混合架构将大部分参数置于最宽第四阶段,研究将其替换为轻量级状态空间块以量化贡献。在 Tiny 和 Small 规模下,该操作减少 35.7% 参数量并提升 GPU 吞吐量 19.3%,但无蒸馏时 ChestMNIST 曲线下面积均值下降 0.004;知识蒸馏可缩小差距至 0.001-0.002。
论文提出 Glance-ETD 框架,通过轻量级问题条件评分器分两阶段减少视觉 token。第一阶段以低分辨率概览图像并仅重编码相关问题区域;第二阶段结合多样性与预测证据选择最终 token,确保覆盖场景且保留答案。
该论文指出同一人行道场景对不同使用者(如不同助行者)的通行性判断存在差异,单标签标注方式不适用。作者提出 Few-Shot Personal Calibration 方法,通过冻结视觉语言模型获取场景内部状态,结合检测器预测障碍类型、严重程度等属性,利用少量新用户的回答拟合其解读风格与权重。
该研究提出了一种完全本地的视觉语言模型流程,用于将道路图像转化为几何感知的坑洞警告。系统重构了分割、严重程度分级和警告生成三个核心阶段,使其能在单张本地 GPU 上离线运行。实验显示,本地方案处理速度为每场景 1.27 秒,比原云端系统快 16 倍且无需按场景付费;在特定相机设置下,其风险分类性能接近云端模型,生成的警告在盲测中也被认为更安全且清晰度相当。
针对无人机图像分类在大数据集、GPU 及重框架依赖下的局限,本文提出一种无需 GPU 且具备高可解释性的轻量级算法。该方法利用二维色相 - 饱和度直方图特征表示,结合地球移动距离或二次型距离与对数似然概率分数进行分类。
针对室内多层建筑中电梯或扶梯加速后进入长时间匀速巡航导致惯导退化、垂直位移低估的问题,论文提出 Local-Token Causal Attention 架构,将每秒惯性数据压缩为运动令牌并在有限缓存中维持初始状态。
推荐理由:提出 LTCA 架构解决长时惯性里程计在电梯匀速阶段的漂移问题,并在 MSIO 基准上验证了优于短窗口基线的性能。
dit.xpu 提出一种针对异构移动 SoC 的稀疏 DiT 推理框架,通过 Tile-aligned 稀疏注意力与锚点误差补偿机制优化数据流。该方案在两款骁龙手机上的五项 DiT 模型测试中,相比 Hexagon-NPU 后端实现高达 1.56 倍的端到端去噪加速,且生成质量接近稠密注意力模式。代码已开源,适用于移动端图像生成与编辑场景。
针对预训练视觉语言模型在多域任务增量学习中面临的遗忘与适配难题,研究提出 TSP-DLoRA 方法。该方法利用任务子空间投影区分已知未知任务,并通过动态分配低秩适配器平衡性能与参数成本。在 11 个数据集上的三项指标实验验证了该方法的有效性,代码已开源。
针对物理 AI 中 VLA 模型在端侧计算受限场景下的实时控制挑战,本文提出一种无线边缘辅助的自适应隐式推理框架(WEALR)。该框架利用决策智能体联合选择执行位置与收敛阈值,并通过拉格朗日约束深度强化学习策略优化任务性能与资源消耗。实验基于 LIBERO 操作任务及射线追踪无线信道评估,结果显示该方法在可行性加权的任务成功率上较基准方法提升最高达 23%。
本文研究了冻结分块机器人策略在部署时如何分配推理计算资源,即在单次调用内细化预测动作还是增加调用频率进行重规划。研究未更新模型权重,使用 LIBERO 仿真环境评估了不同配置下的成功率与算术成本。实验表明,在特定参数下,增加细化次数可提升任务成功率并降低单位步骤的算术开销,但并未确立通用最优设置。
推荐理由:该文通过冻结模型实验,量化了推理计算在动作细化与重规划间的分配对成功率与成本的影响。
Conv-Reluplex 框架专为卷积层和池化层设计,旨在为计算机视觉中的深度神经网络提供形式化安全保证并生成对抗样本。实验在 MNIST 数据集上进行,结果显示利用该工具生成的对抗样本显著提升了原始 CNN 的分类精度。该工作发表于 SEKE 2021,代码与数据许可状态待定。
本文指出单纯识别个体事件无法保证流式视频中组合指令的正确执行,引入 CoTriggerBench 基准验证通知时机与静默问题,并提出实时 VLM 智能体 TEMPI。TEMPI 通过分解原子查询、维护场景记忆及重叠视觉编码优化推理管道,在 8 GB RTX 5060 上实现 4.90 倍加速,指令级成功率达 44.4%,优于最强闭源与开源基线。材料为预印本论文,未涉及真实机器人部署或量产许可。
推荐理由:提出 TEMPI 智能体与 CoTriggerBench 基准,解决流式视频理解中的时序指令触发难题。
arXiv 论文 LiNO 针对自动驾驶车辆的占用估计任务,提出了一种结合相机与雷达传感器的实时轻量级架构。该方法通过残差多阶段头设计替代了以往依赖重型纯相机模块的方案,并引入特定任务的数据增强策略以提升泛化能力。
论文提出 ViCoR(Visual Conditioned Reflex)架构,旨在解决通用视觉语言模型在实时交互环境中反应过慢的问题。该方法将正常游戏动作与轻量级情境指导交由主 VLM 处理,同时利用无需深度思考的视觉反射分支检查局部动态视图以做出亚秒级决策。
推荐理由:提出 ViCoR 架构,通过视觉条件反射分支将高频反应决策延迟降低 2.6 倍并减少 36.9% token 消耗。
针对手机端处方阅读管线,研究对比了 PaddleOCR 搭配 2.7B 参数语言模型与旋转裁剪配合 2B 参数视觉语言模型的效果。在 49 次合成处方捕获中,新方案将召回率从 8% 提升至 67%,手写识别由 0 增至 20/45 且消除不安全输出,但耗时增加至每张照片 61 秒、内存占用约 1.9GB。所有结果均基于单一作者与单台设备的样本内数据,未获外部验证。
针对缺乏 LiDAR 的 iPhone 和 iPad 等移动设备,该研究提出了一种无需扫描的增强现实管线(MoGe-2),利用点图网络从单目相机帧预测度量几何并恢复深度偏移。
NVIDIA在Hugging Face平台发布了Alpamayo 2 Edge模型,该模型拥有20亿个参数,专为DRIVE AGX Thor平台设计以支持10 Hz运行频率。它旨在帮助开发者在车载算力和延迟限制下进行开发,并附带部署方案及评估工具,可用于生成并分析驾驶轨迹及其因果解释。
针对零样本工业缺陷检测模型在边缘端量化后性能下降的问题,本文提出 EdgeZSAD 框架及其核心方法 Value-Range Quantization(VRQ)。
EventSpikeSeg 提出一种结合驻留电容内存与共享模拟处理的混合信号架构,在 GF180MCU 工艺下实现事件相机脉冲分割。该架构在 DSEC 数据集上软件检查点达到 27.976% 平均交并比,但硬件准确率、全网络物理运行及系统能效尚未验证。研究详细表征了 22 个模块家族与 74 个工作点,揭示了存储复制与服务调度作为扩展约束。
DiffusionSSD 提出一种算法架构协同设计框架,通过双阶段扩散降低计算成本并借助 cUFS+LPDDR-PIM 将编解码卸载至数据侧。实验显示该方案在保持感知质量的同时,计算开销最高减少 92.7%,相比 NPU+DRAM 及 SmartSSD 等近数据处理架构,编码吞吐量分别提升 2.32 倍和 2.91 倍。
针对屏幕历史作为可搜索视觉记忆的需求,本文提出了 StreamEmbed 系统,通过空间 Token 剪枝与时间 KV 缓存复用技术,利用截图间的像素冗余实现增量视觉嵌入。实验显示该系统在 M2 Pro GPU 上将编码速度提升最高 3.7 倍,相比 OCR 索引在同等延迟下 Recall@10 提升 6.3 个点,且仅需 0.13 GB RAM 即可存储模拟一年的截图数据。
AR-Classroom 项目在 Meta Quest 3 头显上实现了针对乐高飞机的无标记六自由度(6DoF)追踪。
研究团队在 Agilex 5 FPGA 上构建了计算自定义 3.69 亿参数混合门控 DeltaNet 模型完整层的硬件瓦片,并通过页式管理解决 6.2 MiB 状态仅存于 0.87 MiB 片上内存的问题。
Pocket SDR-NPU 开源项目将 Raspberry Pi 5 与 AX8850 NPU 或 ROCK 5C 内置 NPU 结合,通过分解离散傅里叶变换实现并行代码搜索。相比优化后的 CPU 方案,短码获取速度提升 3.0-3.8 倍,90% 通道锁定时间从 66 秒降至 26 秒,实时处理通道数由约 175 增至约 230。
论文提出免训练的 EcoVGGT 推理框架,利用固定关键帧集(Pinned Key Set)替代内容选择机制,实现长视频三维重建的恒定成本处理。实验显示该方法在 ScanNet 1000 帧视频上将速度提升 13.8 倍,并在 VGGT 模型上通过微调对齐模块将成功率从 70% 提升至 82%,同时支持单 GPU 处理 4000 帧及在线流式重建。
推荐理由:提出免训练推理框架 EcoVGGT,通过固定关键帧实现长视频三维重建的高效流式处理。
该论文提出 Saliency-Weighted Asymmetric Merging (SWAM) 框架,通过引入显著性感知机制扩展了双部软匹配方法,利用余弦相似度配对并施加最大显著性惩罚,结合非对称指数加权聚合以增强显著 token 的贡献。
arXiv 论文《Token2Tile》提出了一种无需训练的稀疏注意力算子,旨在解决视频扩散 Transformer 中注意力机制的二次计算成本瓶颈。该方法结合每查询评分与残差、在线低秩空间及 Tile 执行策略,将选中的 Key 打包至 GPU 核以加速推理。
推荐理由:该工作提出了一种无需训练的稀疏注意力算子,在视频扩散模型上实现了显著加速且精度损失极小。
针对边缘设备需求上升但现有轻量级方法精度不足的现状,本文提出无需引入额外数据集或参数的三阶段训练策略 Signal Scaffolding。该方法应用于自设计的轻量化网络 ReForgeDepth,在 KITTI 和 Cityscapes 数据集上实现了精度与效率的最优平衡,并能在边缘设备上实时运行。研究结果表明,通过优化训练方式即可进一步挖掘轻量级模型的潜在能力。
该研究提出通过学习少量共享提示词来适应冻结的视觉基础模型,并首次从理论上量化了特征空间传输的成本。研究发现,由于共享提示词与图像内容竞争注意力,仅靠线性插值往往无法沿最短路径移动;二次贝塞尔曲线路径能显著减少额外动作成本,在 VTAB-1k 数据集上提升了无标签分布偏移下的中间精度和在线准确率。论文给出了可解析的注意力模型分析,揭示了内容归一化对可达性的阈值效应,并提供了项目页面链接供复现。
NVIDIA Deep Learning Accelerator (DLA) 平台通过专用硬件加速边缘端深度学习推理,将计算负载从 GPU 卸载以提升能效。该技术已在 NVIDIA Jetson AGX Orin 上实现原生 DLA 推理支持,允许开发者在 Python 环境中直接调用 cuDLA 库运行多神经网络应用。
比亚迪第 1900 万辆新能源汽车在西安工厂下线,科技新奢旗舰 SUV 方程豹钛 9 成为该里程碑车型并正式开启全国预订。该车搭载第二代刀片电池、云辇 -A、后轮转向及超级智能体“迪迪虾”等成果,定位个性豪华新品类。作为继钛 7 后的又一力作,方程豹钛 9 将于 11 月正式上市,体现比亚迪高端化战略成效。
MPPI-Generic 是一款基于 C++/CUDA 的 GPU 加速随机优化库,提供 Model Predictive Path Integral 等三种控制算法实现。该库允许用户通过 API 自定义动力学模型或代价函数而无需修改核心代码,并已在多种 GPU 上验证了实时计算能力。
Morph-ISR 提出了一种针对数字病理图像的高分辨率重建框架,通过引入 IPKG 和 MFP 模块解决复杂组织下的纹理模糊与边界丢失问题。在 TCGA 和 SurGen 数据集上,该方法将 LPIPS 和 ST-LPIPS 指标较次优方法分别降低 38.37% 和 39.55%,同时保持高 PSNR 与 SSIM。紧凑的参数化与高通量特性支持边缘部署,代码与模型将在发表时公开。
本文介绍 Ego-MC-Bench 基准,用于评估视频大语言模型在真实烹饪场景中进行反应性、逐步任务指导及主动纠错的能力。实验表明当前最先进模型在该基准上表现困难,主要归因于缺乏包含错误与适时干预的训练数据。