分類任務如何用邏輯回歸實作_機器學習之1——邏輯回歸(Logistic Regression,LR)

線性回歸

線性模型：

一般用向量形式改成：

，

給定資料集

，其中

。資料集中的屬性，分為有序屬性和無序屬性，有序的屬性可以用連續值來代替，而無序的屬性值如“黃瓜”,“西瓜”和“冬瓜”等可以用k維向量(1,0,0)，(0,1,0),(0,0,1)來代替。

若将無序屬性連續化，則會不恰當引入序的關系，對後續處理如距離計算等造成誤導。 回歸模型

中如何确定最佳的w和b呢？均方誤差是回歸任務中最常用的性能度量，可以試圖讓均方差最小化：

基于均方誤差最小化來進行模型求解的方法稱為“

最小二乘法

”，

線性回歸中，最小二乘法就是試圖找到一條直線，使所有樣本到直線上的歐氏距離之和最小

。

更一般的情形如本節開頭資料集D，樣本由d個屬性描述：

，稱為“多元線性回歸”。

Logistic回歸：

邏輯回歸公式：

一般将機率大于0.5時劃為正例，小于0.5時化為反例。 Logistic回歸的性質

[1]：

• 雖然名字是回歸，但是卻是一種分類學習的方法
• 直接對分類可能性進行模組化，無需事先假設資料分布，避免了假設分布不準确帶來的問題
• 不僅預測出“類别”，而且可得到近似機率預測，對許多需要利用機率輔助決策的任務很有用。
• Logistic回歸求解的目标函數為任意階可導的凸函數，有很好的數學性質(梯度下降優化)。
• 邏輯回歸最大的優勢在于它的輸出結果不僅可以用于分類，還可以表征某個樣本屬于某類别的機率。
• 邏輯斯谛函數将原本輸出結果從範圍（−∞，+∞） （-infty，+infty）（−∞，+∞） 映射到(0,1)，進而完成機率的估測。
• 邏輯回歸得判定的門檻值能夠映射為平面的一條判定邊界，随着特征的複雜化，判定邊界可能是多種多樣的樣貌，但是它能夠較好地把兩類樣本點分隔開，解決分類問題。
• 求解邏輯回歸參數的傳統方法是梯度下降，構造為凸函數的代價函數後，每次沿着偏導方向(下降速度最快方向)邁進一小部分，直至N次疊代後到達最低點。

Logistic回歸公式推導：

采用

極大似然估計法

來估計w和b：

這裡我們記需要估計的參數w和b統一為θ。

梯度下降法優化目标函數

：

令

Logistic和SVM幾點差別

1. loss function L：cross entropy loss，S：hinge loss
2. L：所有樣本都參與貢獻，S：隻取離超平面最近的支援向量樣本
3. L：對機率模組化，S：對分類平面模組化
4. L：處理經驗最小化，S：結構最小化(SVM自帶L2正則項)
5. L：非線性變換減弱分離平面較遠點的影響，S：隻取支援向量進而消去較遠點的影響
6. L：統計方法，S：幾何方法

多分類學習

Logistic回歸是一個二分類模型，但是有時候也需要應對多分類任務。

考慮 N個類别

，經典的多分政策有“一對一”(OvO)，“一對其餘”(OvR)，“多對多”(MvM)。

給定資料集

,

,OvO将N個類别兩兩比對，進而産生

個分類任務，對應的可以得到

個分類結果，最終結果可通過投票産生，即把預測得最多的類别作為最終分類的結果。OvR是每次将一個類的樣例作為正例，所有其它類作為反例來訓練N個分類器，若有多個分類器預測為正類，則通常考慮分類器的預測置信度，選擇置信度最大的類别标記作為分類結果。MvM是每次将若幹個類作為正類，若幹個其他的類作為反類，顯然OvO和OvR是MvM的特例。

多分類邏輯回歸(softmax函數)

softmax函數公式：

，

,

Softmax代價函數

：

,

為訓示函數。

仔細觀察代價函數會發現，是每個類别所分到的機率的對數和。

參考

1. ^邏輯回歸的了解 https://blog.csdn.net/t46414704152abc/article/details/79574003