轉載請注明作者和出處：https://blog.csdn.net/qq_28810395
前言
在這主要将人工神經網絡，在講之前要先了解人工智能與深度學習的關系。
人工智能：
具有高度綜合性和交叉性的學科，其研究範疇包括：自動推理、知識表達、專家系統、機器學習等。
機器學習：
機器學習是人工智能的核心，是人工智能的一個重要分支，其應用周遊了人工智能的各個領域，涉及的算法包括：決策樹、支援向量機（SVM）、人工神經網絡、聚類、貝葉斯分類器、規則學習、強化學習等。
深度學習：
這個概念是人工神經網絡經過發展，進入了一個深層次的狀态，便就是現在的深度學習。更深的網絡使得模型的性能更好，相較于傳統的機器學習，不需要進行手工提取特征。簡單來說深度學習本質也就是人工神經網絡。
深度學習的模型實質
為了更好的了解深度學習，是以還是要粗略了解一下模型實質。
深度模型的實質其實就是一個複雜的非線性函數，是以對于不同領域的不同的模型其實就是不同計算方式的函數。
一般的輸入是我們傳統的視、觸、聽、感燈一些可進行擷取并轉換的資料，經過模型處理，在輸出可以觀或感的資料，并進行可視化的顯示。
上述就是個最簡單的例子，一個圖檔轉化成資料進行輸入，經過一個風雷模型，然後輸出資料并轉化成人可識别的英文标記，這就是一個深度模型的實質。
深度學習網絡
MLP是早前的人工神經網絡
CNN常用于圖像處理，
RNN主要處理序列的資訊
LSTM是RNN的擴充
這裡主要詳細講一些多層感覺機（MLP）其他的後續進行講解。
神經網絡基本單元——神經元
将圖檔擷取後，轉化成矩陣資料，進行模型特征讀取（x）并進行輸入，（x）相當于神經的一個敏感部，每個輸入占有一個權值（w），權重越大代表輸入性越強，他的輸出為每個輸入×權重相加起來，加上一個偏置（b），偏置是一個常數，不占有權重。
公式表達：
實質：輸入權重求和再加偏置，激活函數進行非線性轉化，映射到固定值域。
激活函數一般用f來表示，早期的激活函數采用的是階躍函數，在數值大于0時為1，小于等于0時為0。
還有其他的激活函數，
Sigmoid函數
由于都涉及指數運算，是以其運作成本較高，而且由圖看如果輸入在飽和區域，進行放大，基本是不變的，導緻模型訓練中梯度消失，最終模型失敗。也不以0為中心，收斂速度慢。但是Sigmoid函數為連續函數，求導簡單，且輸出範圍是有限的，優化相對簡單。
tanh函數
tanh函數相比較與Sigmiod函數梯度相對緩和，以0為中心，且收斂速度很快。但是同樣具有Sigmiod的缺點，指數函數的運算成本高，也會有模型梯度消失問題。
ReLU函數
ReLU函數是非常簡單的函數，小于0的值全部為0，大于0的值是輸入本身，是以它計算非常簡單，而且輸入為正數時不存在梯隊消失問題，，但它小于0的值全部為0，會導緻負半軸資訊全部丢失，存在神經元死亡的問題。
Leaky ReLU函數
為了解決ReLU函數的神經元失活問題，所進行的調整。
Softplus函數
同樣是ReLU的一個改進，進行了平滑處理。
Softmax函數
Softmax把一些輸出的神經元映射到（0-1）之間的實數，并且歸一化保證和為1，進而使得多分類的機率之和也剛好為1。常用在全連接配接的最後一層，判定輸入在分類類别中的機率（各類機率和為1），機率最大的便是輸出的分類類别。
前饋神經網絡
單層神經網絡（單層感覺機）
單層感覺機是指隻有一層處理單元的感覺機，它的結構與功能都非常簡單，通過讀網絡權值的訓練，可以使感覺機對一組輸入矢量的響應達到元素為0或1的目标輸出，進而實作對輸入矢量分類的目的，一般解決線性問題，由于它有下列幾個缺點：
1、我們的優化方法不一定能夠找到我們所希望的優化參數，也就找不到我們需要的拟合函數，雖然這個拟合的函數是存在的；
2、訓練結果好，但是泛化能力差，即很容易産生過拟合
目前在解決實際問題時很少被采用，但由于它在神經網絡研究中具有重要意義，是研究其他網絡的基礎，而且較易學習和了解，适合于作為學習神經網絡的起點。
深層神經網絡（多層感覺機）：
多層感覺機使用更深層的神經網絡，可以得到更好的表達效果，這可以直覺地了解為：在每一個網絡層中，函數特點被一步步的抽象出來；下一層網絡直接使用上一層抽象的特征進行進一步的線性組合。
簡單來說就是神經元的堆疊，每個神經元隻與前一層的神經元相連接配接受前一層的輸出，并輸出給下一層，各層間沒有回報。
但是深層神經網絡也有缺點：
1、在面對大資料時需要人為提取原始資料的特征作為輸入，這個尺度很難掌握，多層神經網絡會把蹲在屋頂的Kitty和騎在貓奴頭上的Kitty識别為不同的貓咪，又會把二哈和狼歸類為同一種動物。前者是對不相關變量過于敏感，後者則因無法提取有實際意義的特征。
2、想要更精确的近似複雜的函數，必須增加隐藏層的層數，這就産生了梯度擴散問題。
3、無法處理時間序列資料（比如音頻），因為多層神經網絡不含時間參數。
參考文獻
1、http://edu.cstor.cn/#/