天天看點

卷積為何有效

要回答卷積為何有效,恐怕大家都要去看看這篇論文《Visualizing and Understanding Convolutional Networks》,它将每個卷積層的輸出反卷積然後展示出來,讓我們知道每一層的卷積到底是學習到了什麼特征。

這是這篇論文的翻譯

。然後,我去知乎搜了一下關于卷積網絡的了解,

這是連結

,看第一名的答案即可。

寫在前面的一點,濾波器就是權重。而我們以前全連接配接網絡的權重是隐層的結點(m)和上一層的結點(n)組成的矩陣(m

卷積為何有效

n),這就是不同。

卷積為何有效

簡單來說,訓練CNN在相當意義上是在訓練每一個卷積層的濾波器。讓這些濾波器對特定的模式有高的激活,以達到CNN網絡的分類或檢測等目的。

卷積神經網絡的第一個卷積層的濾波器用來檢測低階特征,比如邊、角、曲線等。随着卷積層的增加,對應濾波器檢測的特征就更加複雜。比如第二個卷積層的輸入實際上是第一層的輸出,這一層的濾波器是用來接觸低階特征的組合等情況(半圓、四邊形)等,如此累積,以檢測越來越複雜的特征。

是以,在某種意義上,建構卷積神經網絡的任務在于建構這些濾波器。也就是,将這些濾波器變成這樣(改變濾波器矩陣的值,也就是Weight)---- 能識别特定的特征。這個過程叫做訓練。

在訓練開始之時,卷積層的濾波器完全是随機的,他們不會有任何特征激活。把一個空白的濾波器,修改其權重(weights)使他能檢測特定的模式,整個過程就像工程的回報機制。

繼續閱讀