卷積神經網絡三之三大結構特性

卷積神經網絡

一、CNN三大結構特性

• 局部連接配接——感受野
  • 局部連接配接會大大減少網絡的參數。在處理圖像這樣的高次元輸入時，讓每個神經元都與前一層中的所有神經元進行全連接配接是不現實的。讓每個神經元隻與輸入資料的一個局部區域連接配接，該連接配接的空間大小叫做神經元的感受野，它的尺寸是一個超參數，其實就是濾波器的空間尺寸。  
• 權值共享——卷積
  • 在卷積層中使用參數共享是用來控制參數的數量。每個濾波器與上一層局部連接配接，同時每個濾波器的所有局部連接配接都使用同樣的參數，此舉會同樣大大減少網絡的參數。
• 空間或時間上的下采樣——池化 pooling
  • 它的作用是逐漸降低資料的空間尺寸，這樣的話就能減少網絡中參數的數量，使得計算資源耗費變少，也能有效控制過拟合。

二、卷積神經網絡

• 用卷積層代替全連接配接層

• 

• 卷積網絡是由卷積層、子采樣層、全連接配接層交叉堆疊而成。
  • 趨向于小卷積、大深度
  • 趨向于全卷積

• 池化層

• 典型結構
  • 一個卷積塊為連續M 個卷積層和b個池化層（M通常設定為2 ∼ 5，b為0或1）。一個卷積網絡中可以堆疊N 個連續的卷積塊，然後在接着K 個全連接配接層（N 的取值區間比較大，比如1 ∼ 100或者更大；K一般為0 ∼ 2）。

三、計算機看到的圖檔

RGB三通道 二維數組

2、各層

（1）卷積層

• 輸入：D個特征映射 M×N×D
• 輸出：P個特征映射 M'×N'×P
• 特征映射（Feature Map）：一幅圖像經過卷積後得到的特征。
  • 卷積核看成一個特征提取器

  • 

2、激活函數

激活函數是用來加入非線性因素，解決線性模型所不能解決的問題。激活函數的意義是“讓神經網絡具備強大的拟合能力”。線性方程的複雜性有限，并且從資料中學習複雜函數映射的能力更小。一個沒有激活函數的神經網絡隻不過是一個線性回歸模型。

Sigmoid系列（Logistic-Sigmoid、Tanh-Sigmoid）

從數學上來看,非線性的Sigmoid函數對中央區的信号增益較大,對兩側區的信号增益小,在信号的特征空間映射上,有很好的效果,通過對權重的輸入進行非線性組合産生非線性決策邊界.從神經科學上來看,中央區酷似神經元的興奮态,兩側區酷似神經元的抑制态,因而在神經網絡學習方面,可以将重點特征推向中央區,将非重點特征推向兩側區.

Relu系列函數

計算簡單,導數簡單,收斂快,單側抑制 ,相對寬闊的興奮邊界 ,稀疏激活性；缺點在于在訓練的時候,網絡很脆弱,很容易出現很多神經元值為0,進而再也訓練不動。

3、步長

步長=2

filter個數3 3*3

零填充

這是最複雜的一個情形，幾乎很多實際應用都可以對應到這個問題上, 都是在做這樣一件事（？）

1)輸入對應着rgb圖檔

2）一旦輸入的特征圖個數是多個，這個時候每一組filter就應該是多個，而這裡有兩組filter

3）輸入是三個特征圖，輸出為兩個特征圖，那麼我們同樣看看每個特征圖怎麼計算的。

至此，我們應該知道，卷積到底是在做一件怎麼樣的事情，任意給你一張圖檔你應該知道卷積是在做什麼？

4、卷積層（？）

5、卷積核的通道數

6、池化層

• 卷積層雖然可以顯著減少連接配接的個數，但是每一個特征映射的神經元個數并沒有顯著減少。
• 通過下采樣，可以減少特征圖的大小，同時減少神經元個數。

7、全連接配接層-輸出一維的特征向量

圖像特征圖的“分布式特征表示”映射到樣本标記空間。在整個卷積神經網絡中起到“分類器”的作用（？）

8、softmax層-輸出機率預測結果

通過Softmax函數将多個标量映射為一個機率分布，輸出分類結果的置信度。

9、softmax層-輸出機率預測結果（?）

softmax函數，将輸出結果變為e的指數次幂，除以全部輸出的e的指數次幂的和（相當于做了一次歸一化）

可以看做機率輸出

多分類問題，機率最大的那個作為最終輸出的類别

10、CNN卷積神經網絡識别圖像的過程