天天看點

《統計學習方法》 感覺機

感覺機是二分類問題的線性分類模型,輸入為執行個體的特征向量,輸出為執行個體的類别,去+1和-1兩值。屬于判别模型,對輸入執行個體進行分類。旨在求出将訓練資料進行線性劃分(可以将訓練集正執行個體點和負執行個體點完全正确劃分)的分離超平面。

感覺機:f(x)=sign(w*x+b)

其中 sign是符号函數。當x>=0時,=1;當x<=0時,=-1 

通過訓練集T={(x1,y1),(x2,y2)...}求得模型參數w和b,并将損失函數極小化。

損失函數:L(w,b)=-

《統計學習方法》 感覺機

誤分類點越少,誤分類點離超平面越近,損失函數值就越小。

感覺機學習問題轉化為求解損失函數的最優化問題,最優化的方法是随機梯度下降法。

《統計學習方法》 感覺機

該算法在直覺上的解釋是:當一個執行個體點被誤分類,即位于分離超平面的錯誤的一側時,則調整w,b的值,使分離超平面向該誤分類點一側移動,以減少該誤分類點與超平面間的距離,直至超平面超過該誤分類點使其可以正确分類。

算法的收斂性:經過有限次疊代可以得到一個将訓練資料集完全正确劃分的分離超平面及感覺機模型。

                         當訓練集線性不可分時,感覺機學習算法不收斂,疊代結果會發生震蕩。