Python進行決策樹和随機森林

• • • 一、決策樹
    • • 第一步，導入庫；
      • 第二步，導入資料；
      • 第三步，資料預處理；
      • 第四步，決策樹；
      • 第五步，決策樹評價；
    • 第六步，生成決策樹圖。
    • 二、随機森林
    • • 第一步，随機森林；
      • 第二步，随機森林評價；

一、決策樹

第一步，導入庫；

# 導入庫
from sklearn import datasets
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
# 使文字可以展示
plt.rcParams['font.sans-serif'] = ['SimHei']
# 使負号可以展示
plt.rcParams['axes.unicode_minus'] = False
           

第二步，導入資料；

# 讀取資料
data = pd.read_excel('F:\\Desktop\\江蘇省模組化\\模組化資料.xlsx')
data[:5]
           

第三步，資料預處理；

# 設定 X 和 y
X = data.iloc[:, 1:]
y = data.iloc[:, 0]

from sklearn.cross_validation import train_test_split
# 設定訓練資料集和測試資料集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size = 0.3, random_state = 0)

# 資料标準化
from sklearn.preprocessing import StandardScaler
stdsc = StandardScaler()
# 将訓練資料标準化
X_train_std = stdsc.fit_transform(X_train)
# 将測試資料标準化
X_test_std = stdsc.transform(X_test)

           

第四步，決策樹；

# 以熵作為不純度度量标準
from sklearn.tree import DecisionTreeClassifier
tree = DecisionTreeClassifier(criterion = 'entropy', max_depth = 3, random_state = 0)
tree.fit(X_train, y_train)
           

第五步，決策樹評價；

# 列印訓練集精确度
print('Training accuracy:', tree.score(X_train, y_train))
# 列印測試集精确度
print('Test accuracy:', tree.score(X_test, y_test))
           

# 繪制混淆矩陣
from sklearn.metrics import confusion_matrix
y_pred = tree.predict(X_test)
confmat = confusion_matrix(y_true=y_test, y_pred=y_pred)
print(confmat)
           

# 将混淆矩陣可視化
fig, ax = plt.subplots(figsize=(2.5, 2.5))
ax.matshow(confmat, cmap=plt.cm.Blues, alpha=0.3)
for i in range(confmat.shape[0]):
    for j in range(confmat.shape[1]):
        ax.text(x=j, y=i, s=confmat[i, j], va='center', ha='center')

plt.xlabel('預測類标')
plt.ylabel('真實類标')
plt.show()
           

# 擷取模型的準确率和召回率
from sklearn.metrics import precision_score, recall_score, f1_score
# 準确率
print('Precision: %.4f' % precision_score(y_true=y_test, y_pred=y_pred))
# 召回率
print('Recall: %.4f' % recall_score(y_true=y_test, y_pred=y_pred))
# F1
print('F1: %.4f' % f1_score(y_true=y_test, y_pred=y_pred))
           

from sklearn.metrics import roc_curve, auc
from scipy import interp


# 設定圖形大小
fig = plt.figure(figsize=(7, 5))

# 計算 預測率---使用測試資料集
probas = tree.fit(X_train, y_train).predict_proba(X_test)
# 計算 fpr,tpr    
fpr, tpr, thresholds = roc_curve(y_test, probas[:, 1], pos_label=1)
# 計算 AUC 值
roc_auc = auc(fpr, tpr)
# 畫 ROC 曲線
plt.plot(fpr, tpr, lw=1, label='ROC (area = %0.2f)' 
                    % ( roc_auc))
# 畫斜線
plt.plot([0, 1], [0, 1], linestyle='--', color=(0.6, 0.6, 0.6), label='random guessing')
# 畫完美表現 線
plt.plot([0, 0, 1], 
         [0, 1, 1], 
         lw=2, 
         linestyle=':', 
         color='black', 
         label='perfect performance')
# 設定坐标軸範圍
plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
# 設定坐标軸标題
plt.xlabel('假正率')
plt.ylabel('真正率')
# 設定标題
plt.title('')
# 設定圖例位置
plt.legend(loc="lower right")
plt.show()
           

第六步，生成決策樹圖。

#畫圖方法1-生成dot檔案
from sklearn.tree import export_graphviz #可視化決策樹
with open('treeone.dot', 'w') as f:
    dot_data = export_graphviz(tree, out_file=None)
    f.write(dot_data)
           

#畫圖方法2-生成pdf檔案
import pydotplus
from sklearn.externals.six import StringIO

dot_data = StringIO()
export_graphviz(tree, out_file = dot_data, feature_names=X.columns, filled=True,rounded=True, special_characters=True)
graph = pydotplus.graph_from_dot_data(dot_data.getvalue())
graph.write_pdf("treetwo.pdf")

           

二、随機森林

第一步，随機森林；

from sklearn.ensemble import RandomForestClassifier
#  n_estimator = 10表示有10顆決策樹
#  n_jobs = 2表示使用CPU的兩個核心
forest = RandomForestClassifier(criterion = 'entropy', n_estimators = 10, random_state = 1, n_jobs = 2)
forest.fit(X_train, y_train)
           

第二步，随機森林評價；

# 列印訓練集精确度
print('Training accuracy:', forest.score(X_train, y_train))
# 列印測試集精确度
print('Test accuracy:', forest.score(X_test, y_test))
           

# 繪制混淆矩陣
from sklearn.metrics import confusion_matrix
y_pred = forest.predict(X_test)
confmat = confusion_matrix(y_true=y_test, y_pred=y_pred)
print(confmat)
           

# 将混淆矩陣可視化
fig, ax = plt.subplots(figsize=(2.5, 2.5))
ax.matshow(confmat, cmap=plt.cm.Blues, alpha=0.3)
for i in range(confmat.shape[0]):
    for j in range(confmat.shape[1]):
        ax.text(x=j, y=i, s=confmat[i, j], va='center', ha='center')

plt.xlabel('預測類标')
plt.ylabel('真實類标')
plt.show()
           

# 擷取模型的準确率和召回率
from sklearn.metrics import precision_score, recall_score, f1_score
# 準确率
print('Precision: %.4f' % precision_score(y_true=y_test, y_pred=y_pred))
# 召回率
print('Recall: %.4f' % recall_score(y_true=y_test, y_pred=y_pred))
# F1
print('F1: %.4f' % f1_score(y_true=y_test, y_pred=y_pred))
           

from sklearn.metrics import roc_curve, auc
from scipy import interp


# 設定圖形大小
fig = plt.figure(figsize=(7, 5))

# 計算 預測率---使用測試資料集
probas = forest.fit(X_train, y_train).predict_proba(X_test)
# 計算 fpr,tpr    
fpr, tpr, thresholds = roc_curve(y_test, probas[:, 1], pos_label=1)
# 計算 AUC 值
roc_auc = auc(fpr, tpr)
# 畫 ROC 曲線
plt.plot(fpr, tpr, lw=1, label='ROC (area = %0.2f)' 
                    % ( roc_auc))
# 畫斜線
plt.plot([0, 1], [0, 1], linestyle='--', color=(0.6, 0.6, 0.6), label='random guessing')
# 畫完美表現 線
plt.plot([0, 0, 1], 
         [0, 1, 1], 
         lw=2, 
         linestyle=':', 
         color='black', 
         label='perfect performance')
# 設定坐标軸範圍
plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
# 設定坐标軸标題
plt.xlabel('假正率')
plt.ylabel('真正率')
# 設定标題
plt.title('')
# 設定圖例位置
plt.legend(loc="lower right")
plt.show()