跳到正文
arXiv · 机器人与计算机视觉· Tuhin Subhra Mukherjee, Tiya Rose Pulikunnel, Vaidhav Adit, Devanand Thanissery, S. H. Shabbeer Basha·· 16 天前AI 评分5

ZOPGA-KD:零阶 PGA 引导无数据知识蒸馏方法

ZOPGA-KD: Zeroth Order PGA Guided Data Free Knowledge Distillation

AI 导读

ZOPGA-KD 提出一种仅需教师模型输出 logits、无需访问其架构参数或梯度的无数据知识蒸馏方案。该方法通过投影梯度上升从平滑随机噪声生成合成数据,并利用零阶梯度估计替代反向传播。在多个基准数据集上的评估显示,其蒸馏性能与可访问教师参数的方法相当。

来源:arXiv · 机器人与计算机视觉 · arxiv.org