arXiv · 机器人与计算机视觉· Hui Li, Pengfei Yang, Xinyi Feng, Junhong Liu, Tianyang Zheng, Hui Zeng, Le Dong, Kaibing Zhang, Mengting Zhao, Quan Wang·· 54 分钟前AI 评分45
TALD:跨模态知识蒸馏中的可迁移性感知 logits 解耦框架
TALD: Transferability-Aware Logit Disentanglement for Cross-Modal Knowledge Distillation
AI 导读
TALD 提出一种两阶段框架,通过残差解耦器将教师模型与独立训练的参考学生模型 logits 分解为通用与特定分量。在涵盖视觉、音频和文本的五个基准测试中,该方法实现了最大的平均准确率增益及最高的正向迁移频率。跨十个转移方向的十次运行评估显示,TALD 在 84% 的情况下优于无蒸馏训练基线(最高仅 70%),且团队计划开源代码。
来源:arXiv · 机器人与计算机视觉 · arxiv.org