作者首頁(文火冰糖的矽基工坊)：文火冰糖（王文兵）
目錄
第1章 簡單堆疊神經元導緻參數量劇增的問題
1.1 網絡層數增加大帶來的好處
1.2 一個奇怪的現象
1.3 網絡層數增加帶來的負面效果
第2章 參數量劇增導緻的訓練問題
2.1 計算量的增加
2.2 模型容易過拟合，泛化能力變差。
2.3 梯度異常
2.4 loss異常
第3章 梯度消失：參數的變化率接近與
3.1 什麼是梯度消失和梯度彌散
3.2 梯度的由來：反向傳播的梯度下降來優化神經網絡參數
3.3 采取反向傳播的原因：
3.4 梯度消失會帶來哪些影響
3.5 梯度消失的原因
3.5 梯度消失的解決思路
3.6 梯度消失的幾個解決辦法
第4章 梯度爆炸：梯度接近于無窮
4.1 什麼事梯度爆炸
4.2 梯度爆炸的原因
4.3 梯度爆炸的解決方法
第5章 網絡退回現象
5.1 什麼事網絡回退線性
5.2 管理層級與專有化、精細化分工
5.3 神經網絡退回現象背後的原理
5.4 神經網絡退回現象的解決辦法
第1章 簡單堆疊神經元導緻參數量劇增的問題
1.1 網絡層數增加大帶來的好處
1.2 一個奇怪的現象
從LeNet網絡到Inception-V4，其性能不斷的提升， 網絡的層數不斷雜在增加。當網絡增加到20層左右時研究人員發現：随着網絡層數的增加，性能反而是下降的，如下圖所示：
随着網絡層數的增加，網絡總體性能在下降！！！
1.3 網絡層數增加帶來的負面效果
随着網絡層數的增加，出現幾個數學現象：
（1）權重參與的數量巨量增加
（2）不同層的參數的分布特征不同。
（3）不同層的參數的變化率不同。
（4）不同層的參數對結果的影響不同，然後梯度疊代時的效果是相同。
第2章 參數量劇增導緻的訓練問題
訓練的過程就是梯度逐漸疊代的過程，反向傳播的梯度計算是每一次的梯度計算要依賴于後一級的梯度。随着網絡層數的增加，上述參數的變化，會導緻深度學習、訓練出現一些新的問題：
2.1 計算量的增加
（1）問題
權重參與的數量巨量增加，導緻計算量的大幅度增加。
（2）接近辦法
針對這個問題，可以通過GPU叢集來解決，對于一個企業資源并不是很大的問題；
2.2 模型容易過拟合，泛化能力變差。
參數越多，拟合樣本的能力越強，但樣本本身也是誤差的，且樣本本身的表現形态也是多樣的。
過渡的拟合，導緻拟合出來的網絡，過于注重樣本的形态，而忽略了樣本内在的特征和規律。
這就是過拟合，過拟合的結果就是模型泛化能力變差，無法發現模型内部的本質特征 。
（2）解決辦法
可以通過采集海量資料，并配合Dropout正則化等方法也可以有效避免；
2.3 梯度異常
（1）梯度消失或梯度彌散：梯度接近于0
（2）梯度爆炸：梯度接近于無窮
2.4 loss異常
（1）網絡回退：當增加網絡深度，訓練集loss反而會增大的現象。
第3章 梯度消失：參數的變化率接近與
3.1 什麼是梯度消失和梯度彌散
簡單的講，就是某些網絡層的梯度在沒有拟合完成前，就已經降低解決于0，導緻網絡無法學習。
即在梯度的反向傳播過程中，經過多層的梯度相乘，導緻靠近輸入神經元會比靠近輸出的神經元的梯度成指數級衰減，甚至接近于0.
靠近輸出層的hidden layer 梯度大，參數更新快，是以很快就會收斂；
而靠近輸入層的hidden layer 梯度小，權重參數更新慢，幾乎就和初始狀态一樣，随機分布（初始化成随機分布）。這種現象就是梯度彌散（vanishing gradient problem）。
3.2 梯度的由來：反向傳播的梯度下降來優化神經網絡參數
反向傳播的梯度下降來優化神經網絡參數：
根據損失函數計算的誤差，通過反向傳播的方式，指導深度網絡參數的更新優化。
3.3 采取反向傳播的原因：
深層網絡由許多線性層和非線性層堆疊而來，每一層非線性層都可以視為是一個非線性函數f(x)(非線性來自于非線性激活函數），是以整個深度網絡可以視為是一個複合的非線性多元函數。
我們最終的目的是希望這個非線性函數很好的完成輸入到輸出之間的映射，也就是找到讓損失函數取得極小值。
是以最終的問題就變成了一個尋找函數最小值的問題，在數學上，很自然的就會想到使用梯度下降來解決。
3.4 梯度消失會帶來哪些影響
舉個例子，對于一個含有三層隐藏層的簡單神經網絡來說，當梯度消失發生時：
接近于輸出層的隐藏層，由于其梯度相對正常，是以權值更新時也就相對正常，
接近于輸入層的隐藏層，由于梯度消失現象，會導緻靠近輸入層的隐藏層權值更新緩慢或者更新停滞。
這就導緻在訓練時，隻等價于後面幾層的淺層網絡的學習。
3.5 梯度消失的原因
sigmod函數，導緻神經元的被輸出被限制在0和1區間。
是以這種現象的根本原因，一方面來自于激活函數，另一個根本原因在于“鍊式求導”。這是深度學習的根基！！！
3.5 梯度消失的解決思路
- 重構深度學習的基石：鍊式求導，這有一定的難度。
- 降低網絡的層數
- 優化網絡的架構，避免梯度消失或梯度爆炸
- 優化激活函數
3.6 梯度消失的幾個解決辦法
梯度消失和梯度爆炸本質上是一樣的，一個根本的因為是：
網絡層數太深而引發的梯度反向傳播中的連乘效應。
解決梯度消失、爆炸主要有以下幾種方案案例：
（1）換用Relu、LeakyRelu、Elu等激活函數
ReLu：讓激活函數的導數很定為1，不會出現梯度消失或梯度爆炸。
LeakyReLu：包含了ReLu的幾乎所有優點，同時解決了ReLu中0區間帶來的影響
ELU：和LeakyReLu一樣，都是為了解決0區間問題，相對于來，elu計算更耗時一些（為什麼）
（2）BN: BatchNormalization（歸一化）
歸一化，有類類似每個神經元對輸出與的限制與放大。
通過歸一化，確定每個神經元輸出，都被重選放大或縮小，以規範的方式輸出。
BN本質上是解決傳播過程中的梯度消失或爆炸問題。
（3）逐層訓練 + 整體finetunning
此方法來自Hinton在06年發表的論文上，其基本思想是：
每次訓練一層隐藏層節點，将上一層隐藏層的輸出作為輸入，而本層的輸出作為下一層的輸入，這就是逐層預訓練。
訓練完成後，再對整個網絡進行“微調（fine-tunning）”。
此方法相當于是找局部最優，然後整合起來尋找全局最優；
但是現在基本都是直接拿imagenet的預訓練模型直接進行finetunning。
（4）改變網絡結構
如殘差ReNet網絡結構、LSTM網絡結構。後續單獨讨論這些網絡架構。
第4章 梯度爆炸：梯度接近于無窮
4.1 什麼事梯度爆炸
梯度爆炸與梯度消失正好相反，是随着網絡層數的增加，接近輸入端的網絡的梯度，經過多次相乘後，梯度得到了無線的放大。
4.2 梯度爆炸的原因
梯度爆炸的原因與梯度消失基本相同。
梯度的衰減是有連續乘法導緻的，如果在連續乘法中出現連續的多個非常大的值，最後計算出的梯度就會很大。
相當于優化過程中，遇到斷崖處時，會獲得一個很大的梯度值，如果按照這個梯度值進行更新，那麼這次疊代的步長就很大，可能會一下子飛出了合理的區域。
4.3 梯度爆炸的解決方法
與梯度消失相似，除此之外，梯度爆炸還有自身獨特的解決辦法：
（1）門檻值法
其思想是設值一個剪切門檻值，如果更新梯度時，梯度超過了這個門檻值，那麼就将其強制限制在這個範圍之内。這樣可以防止梯度爆炸。
第5章 網絡退回現象
5.1 什麼事網絡回退線性
針對梯度彌散或爆炸，似乎可以通過Batch Normalization（歸一化）的方法可以避免。
解決了梯度梯度消失和梯度爆炸後，貌似我們就可以無腦的增加網絡的層數來獲得更好的網絡性能：準确率和泛化能力。但實驗資料給了我們當頭一棒。
随着網絡層數的增加，發生了一個神奇的退化（degradation）的現象：
（1）優化區
一開始，當網絡層數從0逐漸增多時，訓練集的loss值，在訓練學習後的值會逐漸下降。
（2）飽和區
當網絡層數得到20層附近時，再通過增加網絡層數，loss的減少就不明顯了，甚至loss的減少接近于0，這個區稱為loss的飽和區。
（3）回退區
當網絡層數再增大時，loss不但不減少，反而會增大。這就稱為“網絡回退現象”，回退到較低網絡層次的水準。
注意：這并不是過拟合，因為在過拟合中訓練loss是一直減小的，甚至loss為0.
當網絡退化時，深層網絡隻能達到淺層網絡的水準，這樣，通過增加網絡層的深度的意義就不大了，反而是負面的了，因為增加網絡的深度，會導緻參數的增加、計算機的增加、網絡傳輸的延時等，并沒有帶來錯誤率的下降和準确率的提升 。
5.2 管理層級與專有化、精細化分工
随着公司、國家規模的增長，管理層級也越來越大，區分的種類也越來越多，但并非層級越多越好，管理層級與公司的規模有一定的關系，當管理的層級超過一定的門限後，管理的效能是整體效能是下降的。神經網絡也是一樣。
5.3 神經網絡退回現象背後的原理
從資訊論的角度講，由于DPI（資料處理不等式）的存在。在前向傳輸的過程中，随着層數的加深，抽象程度也在提升，共性在提升，個性在降低。共性的資訊量是低的，共性程度越高的，資訊量是越少的，個性程度越多的，描述個性的資訊是越多的，也就說随着網絡層數的增加，也就是Feature Map包含的資訊量會逐層減少。是以，就不需要通過更多的神經元參數加以區分。
5.4 神經網絡退回現象的解決辦法
淺層網絡具備更多的特征資訊，如果我們把淺層（低層管理層）的特征傳到高層（管理層），讓高層根據這些資訊進行決策（分類和特征提取），那麼高層最後的效果應該至少不比淺層的網絡效果差，最壞的情況是與低層更好的效果，更普遍的情況是，高層由于有更多、更抽象的特征資訊，是以高層的決策效果會比低層更準确。
更抽象的講，我們需要一種技術，確定保證了L+1層的網絡一定比 L層包含更多的圖像資訊。
這就是ResNet shortcut網絡結構的底層邏輯和内在思想！！！。