网络模型在部署时会通过剪枝蒸馏等方式加快推理速度，模型蒸馏大概可以分为通道蒸馏、特征蒸馏和目标蒸馏。这里需要特别强调的是，蒸馏的student网络学习的是teacher的泛化能力，而不是过拟合训练数据。这篇博客会以pytorch代码为基础，介绍常用的模型蒸馏方法。
a blog driven by interest～
网络模型在部署时会通过剪枝蒸馏等方式加快推理速度，模型蒸馏大概可以分为通道蒸馏、特征蒸馏和目标蒸馏。这里需要特别强调的是，蒸馏的student网络学习的是teacher的泛化能力，而不是过拟合训练数据。这篇博客会以pytorch代码为基础，介绍常用的模型蒸馏方法。