學習機器學習童鞋們應該都知道決策樹是一個非常好用的算法，因為它的運算速度快，準确性高，友善了解，可以處理連續或種類的字段，并且适合高維的資料而被人們喜愛，而Sklearn也是學習Python實作機器學習的一個非常好用的庫，也是被廣大學習機器學習們的童鞋們所喜愛的，那麼一個被人們喜愛的算法和一個被人們喜愛的庫結合到一起會是什麼樣子的呢，下面就是在Sklearn庫中的分類決策樹的函數以及所包含的參數。
class
sklearn.tree.DecisionTreeClassifier
(criterion=’gini’, splitter=’best’, max_depth=None, min_samples_split=2, min_samples_leaf=1, min_weight_fraction_leaf=0.0, max_features=None, random_state=None, max_leaf_nodes=None, min_impurity_decrease=0.0, min_impurity_split=None, class_weight=None, presort=False)
為什麼會變成這樣呢……第一次有了喜歡的算法，又有了支援這個算法的一個非常好的庫。兩件快樂事情重合在一起。而這兩份快樂，又給我帶來更多的快樂。得到的，本該是像夢境一般幸福的結合……但是，為什麼，會變成這樣呢。為什麼會變得這麼複雜呢。
是不是感覺兩個結合起來的算法的參數有好多，不知道每個參數應該怎麼使用，那麼下面我們就對算法的一些關鍵參數進行分析，相信看完這些參數，你應該會明白如何使用Sklearn中的分類決策樹。
1. 重要參數：criterion
為了要将表格轉化為一棵樹，決策樹需要找出最佳節點和最佳的分枝方法，對分類樹來說，衡量這個“最佳”的名額叫做“不純度”。通常來說，不純度越低，決策樹對訓練集的拟合越好。現在使用的決策樹算法在分枝方法上的核心大多是圍繞在對某個不純度相關名額的最優化上。
不純度基于節點來計算，樹中的每個節點都會有一個不純度，并且子節點的不純度一定是低于父節點的，也就是說，在同一棵決策樹上，葉子節點的不純度一定是最低的。
Criterion這個參數正是用來決定不純度的計算方法的。sklearn提供了兩種選擇：
1）輸入”entropy“，使用
資訊熵（Entropy）
2）輸入”gini“，使用
基尼系數（Gini Impurity）
其中t代表給定的節點，i代表标簽的任意分類，$p(i|t)$代表标簽分類i在節點t上所占的比例。注意，當使用資訊熵時，sklearn實際計算的是基于資訊熵的資訊增益(Information Gain)，即父節點的資訊熵和子節點的資訊熵之差。
比起基尼系數，資訊熵對不純度更加敏感，對不純度的懲罰最強。但是
在實際使用中，資訊熵和基尼系數的效果基本相同。資訊熵的計算比基尼系數緩慢一些，因為基尼系數的計算不涉及對數。另外，因為資訊熵對不純度更加敏感，是以資訊熵作為名額時，決策樹的生長會更加“精細”，是以對于高維資料或者噪音很多的資料，資訊熵很容易過拟合，基尼系數在這種情況下效果往往比較好。當然，這不是絕對的。
到這裡，決策樹的基本流程其實可以簡單概括如下：
直到沒有更多的特征可用，或整體的不純度名額已經最優，決策樹就會停止生長。
但是如果僅僅根據這些就生成樹的話，那每個人畫出來的每一棵樹可能都不一樣。它為什麼會不穩定呢？如果使用其他資料集，它還會不穩定嗎？
其實，無論決策樹模型如何進化，在分枝上的本質都還是追求某個不純度相關的名額的優化，而正如我們提到的，不純度是基于節點來計算的，也就是說，決策樹在建樹時，是靠優化節點來追求一棵優化的樹，但最優的節點能夠保證最優的樹嗎？內建算法被用來解決這個問題：sklearn表示，既然一棵樹不能保證最優，那就建更多的不同的樹，然後從中取最好的。怎樣從一組資料集中建不同的樹？在每次分枝時，不從使用全部特征，而是随機選取一部分特征，從中選取不純度相關名額最優的作為分枝用的節點。這樣，每次生成的樹也就不同了。
2. 重要參數： random_state & splitter
random_state用來設定分枝中的随機模式的參數，預設None，在高次元時随機性會表現更明顯，低次元的資料（比如鸢尾花資料集），随機性幾乎不會顯現。輸入任意整數，會一直長出同一棵樹，讓模型穩定下來。
splitter也是用來控制決策樹中的随機選項的，有兩種輸入值，輸入”best"，決策樹在分枝時雖然随機，但是還是會優先選擇更重要的特征進行分枝（重要性可以通過屬性feature_importances_檢視），輸入“random"，決策樹在分枝時會更加随機，樹會因為含有更多的不必要資訊而更深更大，并因這些不必要資訊而降低對訓練集的拟合。這也是防止過拟合的一種方式。當你預測到你的模型會過拟合，用這兩個參數來幫助你降低樹建成之後過拟合的可能性。當然，樹一旦建成，我們依然是使用剪枝參數來防止過拟合。
3. 剪枝參數
在不加限制的情況下，一棵決策樹會生長到衡量不純度的名額最優，或者沒有更多的特征可用為止。這樣的決策樹往往會過拟合，這就是說，
它會在訓練集上表現很好，在測試集上卻表現糟糕。我們收集的樣本資料不可能和整體的狀況完全一緻，是以當一棵決策樹對訓練資料有了過于優秀的解釋性，它找出的規則必然包含了訓練樣本中的噪聲，并使它對未知資料的拟合程度不足。
為了讓決策樹有更好的泛化性，我們要對決策樹進行剪枝。
剪枝政策對決策樹的影響巨大，正确的剪枝政策是優化決策樹算法的核心。sklearn為我們提供了不同的剪枝政策：
3.1 max_depth
限制樹的最大深度，超過設定深度的樹枝全部剪掉
這是用得最廣泛的剪枝參數，在高次元低樣本量時非常有效。決策樹多生長一層，對樣本量的需求會增加一倍，是以限制樹深度能夠有效地限制過拟合。在內建算法中也非常實用。實際使用時，建議從=3開始嘗試，看看拟合的效果再決定是否增加設定深度。
3.2 min_samples_leaf
min_samples_leaf 限定，一個節點在分枝後的每個子節點都必須包含至少min_samples_leaf個訓練樣本，否則分枝就不會發生，或者，分枝會朝着滿足每個子節點都包含min_samples_leaf個樣本的方向去發生
一般搭配max_depth使用，在回歸樹中有神奇的效果，可以讓模型變得更加平滑。這個參數的數量設定得太小會引起過拟合，設定得太大就會阻止模型學習資料。一般來說，建議從=5開始使用。如果葉節點中含有的樣本量變化很大，建議輸入浮點數作為樣本量的百分比來使用。同時，這個參數可以保證每個葉子的最小尺寸，可以在回歸問題中避免低方差，過拟合的葉子節點出現。對于類别不多的分類問題，=1通常就是最佳選擇。
3.3 min_samples_split
min_samples_split限定，一個節點必須要包含至少min_samples_split個訓練樣本，這個節點才允許被分枝，否則分枝就不會發生。
3.4 max_features
一般max_depth使用，用作樹的”精修“
max_features限制分枝時考慮的特征個數，超過限制個數的特征都會被舍棄。和max_depth異曲同工，max_features是用來限制高次元資料的過拟合的剪枝參數，但其方法比較暴力，是直接限制可以使用的特征數量而強行使決策樹停下的參數，在不知道決策樹中的各個特征的重要性的情況下，強行設定這個參數可能會導緻模型學習不足。如果希望通過降維的方式防止過拟合，建議使用PCA，ICA或者特征選擇子產品中的降維算法。
3.5 min_impurity_decrease
min_impurity_decrease限制資訊增益的大小，資訊增益小于設定數值的分枝不會發生。這是在0.19版本種更新的功能，在0.19版本之前時使用min_impurity_split。
4. 确認最優的剪枝參數
那具體怎麼來确定每個參數填寫什麼值呢？這時候，我們就要使用确定超參數的曲線來進行判斷了，繼續使用我們已經訓練好的決策樹模型clf。超參數的學習曲線，是一條以超參數的取值為橫坐标，模型的度量名額為縱坐标的曲線，它是用來衡量不同超參數取值下模型的表現的線。在我們建好的決策樹裡，我們的模型度量名額就是score。
思考：
- 剪枝參數一定能夠提升模型在測試集上的表現嗎？ - 調參沒有絕對的答案，一切都是看資料本身。
- 這麼多參數，一個個畫學習曲線？
無論如何，剪枝參數的預設值會讓樹無盡地生長，這些樹在某些資料集上可能非常巨大，對記憶體的消耗。是以如果你手中的資料集非常大，你已經預測到無論如何你都是要剪枝的，那提前設定這些參數來控制樹的複雜性和大小會比較好。
5. 目标權重參數
5.1 class_weight
完成樣本标簽平衡的參數。樣本不平衡是指在一組資料集中，标簽的一類天生占有很大的比例。比如說，在銀行要判斷“一個辦了信用卡的人是否會違約”，就是是vs否（1%：99%）的比例。這種分類狀況下，即便模型什麼也不做，全把結果預測成“否”，正确率也能有99%。是以我們要使用class_weight參數對樣本标簽進行一定的均衡，給少量的标簽更多的權重，讓模型更偏向少數類，向捕獲少數類的方向模組化。該參數預設None，此模式表示自動給與資料集中的所有标簽相同的權重。
5.2 min_weight_fraction_leaf
有了權重之後，樣本量就不再是單純地記錄數目，而是受輸入的權重影響了，是以這時候剪枝，就需要搭配min_ weight_fraction_leaf這個基于權重的剪枝參數來使用。另請注意，基于權重的剪枝參數（例如min_weight_ fraction_leaf）将比不知道樣本權重的标準（比如min_samples_leaf）更少偏向主導類。如果樣本是權重的，則使用基于權重的預修剪标準來更容易優化樹結構，這確定葉節點至少包含樣本權重的總和的一小部分。
6. 重要屬性和接口
屬性是在模型訓練之後，能夠調用檢視的模型的各種性質。對決策樹來說，最重要的是feature_importances_，能夠檢視各個特征對模型的重要性。
sklearn中許多算法的接口都是相似的，比如說我們之前已經用到的fit和score，幾乎對每個算法都可以使用。除了這兩個接口之外，決策樹最常用的接口還有apply和predict。apply中輸入測試集傳回每個測試樣本所在的葉子節點的索引，predict輸入測試集傳回每個測試樣本的标簽。傳回的内容一目了然并且非常容易，大家感興趣可以自己下去試試看。
總結：
七個參數：Criterion，兩個随機性相關的參數（random_state，splitter），四個剪枝參數（max_depth, ，min_sample_leaf，max_feature，min_impurity_decrease）
一個屬性：feature_importances_
四個接口：fit，score，apply，predict
有了這些知識，基本上分類樹的使用大家都能夠掌握了，接下來再到執行個體中去磨練就好。