【CVPR 2020】蒸餾篇（一）：Regularizing Class-wise Predictions via Self-knowledge Distillation

• 論文位址：
• 代碼位址：
• 主要問題：
• 主要思路：
• 主要特點：
• 具體實作：
• • 基本符号：
  • CS-KD：
• 實驗結果：

論文位址：

https://arxiv.org/abs/2003.13964

代碼位址：

https://github.com/alinlab/cs-kd

主要問題：

單獨訓練神經網絡時，使用傳統的交叉熵損失容易産生過拟合問題，而且沒有考慮到樣本的相似性

主要思路：

作者提出可以通過考慮樣本間相似性，即使用一個額外的自蒸餾損失，使得同一