【CVPR 2021】高效計算的知識蒸餾：Computation-Efficient Knowledge Distillation via Uncertainty-Aware Mixup

• 論文位址：
• 代碼位址：
• 主要問題：
• 主要思路：
• 具體實作：
• • KD 的計算成本：
  • 不确定性感覺混合政策：
• 實驗結果：
• 聯系作者：
• 我的公衆号：

論文位址：

https://arxiv.org/abs/2012.09413

代碼位址：

https://github.com/xuguodong03/UNIXKD

主要問題：

與之前關注學生模型準确性的工作不同，在這裡作者研究了一個很少探索但重要的問題，即知識蒸餾的效率，并且發現傳統知識蒸餾的備援性在于對容易的樣本的過度學習