線性神經網絡模型與學習算法

線性神經網絡類似于感覺器，但是線性神經網絡的激活函數是線性的，而不是硬轉移函數，是以，線性神經網絡的輸出可以是任意值，而感覺器的輸出不是0就是1。線性神經網絡和感覺器一樣隻能求解線性可分的問題。是以，線性神經網絡的限制和感覺器相同。

線性神經元網絡模型

線性神經元與感覺器神經元具有相似的結構，唯一的不同是線性神經元使用了線性傳遞函數purelin，是以與感覺器神經網絡不同，線性神經網絡的輸出可以是任意的。

線性神經元的輸出可以由以下公式進行計算

y=purelin(v)=purelin(ω→⋅p→+b)=ω→⋅p→+b

當輸出y等于0的時候，可以畫出它們的分界線。位于分界線上面的輸入向量能夠産生大于0的網絡輸出，位于分界線下面的輸入向量能産生小于0的網絡輸出。是以線性神經元隻能逼近一個線性函數，而不能完成逼近非線性函數的計算。其局限性與感覺神經網絡相同。

線性神經網絡的學習算法

線性神經網絡采取的學習規則是Widrow-Hoff學習規則，又稱為最小均放誤差（LMS）學習算法，它基于負梯度下降的原則來減小網絡的訓練誤差。最小均方誤差學習算法也屬于監督類學習算法。

假設 pk=(p1,p2,⋯,pR(k)) 表示網絡的輸入向量， dk=(d1(k),d2(k),⋯,dS(k)) 表示網絡的期望輸出向量， yk=(y1(k),y2(k),⋯,yS(k)) 表示網絡的實際輸出向量，其中 k=1,2,⋯,m 表示輸入向量與對應的期望輸出向量樣本對的數量。LMS學系規則就是要減小這些誤差平方和的均值，定義如下：

mse=1m∑k=1me2(k)=1m∑k=1m(d(k)−y(k))2

可以看出，其性能名額是一個二次方程，是以要麼具有全局最小值，要麼沒有最小值，而選擇什麼樣的輸入向量恰恰會決定網絡的性能名額會有什麼樣的最小值。

如果考慮第k次循環時訓練誤差的平方對網絡權值和門檻值的二階偏微分，會得到如下公式：

∂e2(k)∂ωij=2e(k)∂e(k)∂ωij

∂e2(k)∂b=2e(k)∂e(k)∂b

再計算此時的訓練誤差對網絡權值和門檻值的一階偏微分：

∂e(k)∂ωij=∂e∂ωij[d(k)−(Wp(k)+b)]

或者：

∂e(k)∂ωij=∂e∂ωij[d(k)−(∑i=1Rωijpi(k)+b)]

其中 pi(k) 表示第k次循環中的第i個輸入向量，則有：

∂e(k)∂ωij=−pi(k)

∂e(k)∂b=−1

根據負梯度下降原則，網絡權值和門檻值的改變量應該是 2ηe(k)p(k) 和 2ηe(k)

是以網絡權值和門檻值修正公式如下：

ω(k+1)=ω(k)+2ηe(k)pT(k)

b(k+1)=b(k)+2ηe(k)

其中 η 為學習率

當 η 取值較大時，可以加快網絡的訓練速度，但是如果 η 的值太大，會導緻網絡穩定性的降低和訓練誤差的增加。是以，為了保證網絡進行穩定的訓練，學習率 η 的值必須選擇一個合适的值。