天天看點

內建學習--Bagging、Boosting、Stacking、Blending

 ​

內建學習--Bagging、Boosting、Stacking、BlendingBagging

內建學習--Bagging、Boosting、Stacking、Blending

Stacking

內建學習--Bagging、Boosting、Stacking、Blending

Boosting

例子,C1先訓練,C2訓練C1分錯的(後面分類器訓練前面分類器分錯的),C3訓練C1,C2不同的。

第一步:初始化訓練資料的權重,w1=w2=...=wn=1/N,N為樣本的數量。

第二步:訓練第一個基模型,計算模型的錯誤率,計算模型的系數。

第三步:更新資料集的權重,誤分類資料的權重調大,分類正确的資料權值調小。在訓練一個基類模型。依次進行

第四步:每個模型對測試資料,進行預測。

第五部:對所有基模型的預測結果進行權重求和。準确率高的模型調大權值,準确率低的模型減小權值。

內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending
內建學習--Bagging、Boosting、Stacking、Blending

誤差上界:(可以證明模型的誤差上界趨近于0!!!amazing!!)

內建學習--Bagging、Boosting、Stacking、Blending