【統計學習方法】感覺機模型學習筆記

感覺機模型

感覺機是線性二類分類模型，即預測一個樣本是正例（用+1表示），還是反例（用-1表示）。感覺機模型屬于判别模型。

感覺機模型定義：

假設空間是X，輸出空間為Y={+1,-1}.稱從X到Y的映射函數f(x)=sign(wx+b)為感覺機。其中， w和b為感覺機模型參數。注意， w和b可以是一個多元向量。特别地，如果w,b是一個實數，則w為直線的斜率，b為在y軸的截距。

資料集的線性可分性

簡單地說，資料集的可分性是指，給定一個資料集，如果存在一個超平面，将資料集中的所有正例樣本和反例樣本完全正确分開，則稱該資料集是線性可分資料集。

接下來，感覺機模型要做的就是找到這個超平面。為此，隻需要确定模型參數w和b即可。

學習政策

我們需要選擇一個政策使得誤分類點越少越好。這個政策可以通過損失函數刻畫。

對于誤分類點（xi, yi）， yi(wxi+b)<0，即 -yi(wxi+b)>0.

誤分類點xi到超平面S的距離為-1/||w|| yi(wxi+b)

則可獲得所有誤分類點到超平面的距離為-1/||w|| yi(wxi+b)