gridsearchcv參數_模型自動調參--GridSearchCV

機器學習模型中有許多參數，如何選取參數，如何組合多個參數，以達到模型的最優效果？

當然，可以采用for循環的方式。

sklearn中提供了一個很友善的方法GridSearchCV，可以實作自動調參，非常适用于小資料集。

class sklearn.model_selection.GridSearchCV(estimator, 
                                           param_grid, 
                                           scoring=None, 
                                           fit_params=None, 
                                           n_jobs=1, 
                                           iid=True, 
                                           refit=True, 
                                           cv=None, 
                                           verbose=0, 
                                           pre_dispatch='2*n_jobs', 
                                           error_score='raise', 
                                           return_train_score='warn')           

1. estimator：所使用的分類器，比如：estimator=RandomForestClassifier(min_samples_split=100, min_samples_leaf=20, max_depth=8, max_features='sqrt', random_state=10)，并且傳入除需要确定最佳的參數之外的其他參數。每個分類器都需要一個scoring參數或者score方法。
2. param_grid：值為字典或清單，即需要最優化的參數的取值，param_grid =param_test1，param_test1 = {'n_estimators':range(10,71,10)}
3. scoring：準确評價标準，預設為None（使用estimator的誤差估計函數），這時需要使用score函數；或者如scoring='roc_auc'，根據所選模型不同，評價準則不同。
4. cv：交叉驗證參數，預設為None
5. refit：預設為True，程式将會以交叉驗證訓練集得到的最佳參數，重新對所有可用的訓練集與測試集進行，作為最終用于性能評估的最佳模型參數。即在搜尋參數結束後，用最佳參數結果再次fit一遍全部資料集。
6. iid:預設True,為True時，預設為各個樣本fold機率分布一緻，誤差估計為所有樣本之和，而非各個fold的平均。
7. verbose：日志冗長度，int：冗長度，0：不輸出訓練過程，1：偶爾輸出，>1：對每個子模型都輸出。
8. n_jobs: 并行數，int：個數,-1：跟CPU核數一緻, 1:預設值。
9. pre_dispatch：指定總共分發的并行任務數。當n_jobs大于1時，資料将在每個運作點進行複制，這可能導緻OOM，而設定pre_dispatch參數，則可以預先劃分總共的job數量，使資料最多被複制pre_dispatch次，進行預測的常用方法和屬性
10. grid.fit()：運作網格搜尋
11. grid_scores_：給出不同參數情況下的評價結果
12. best_params_：描述了已取得最佳結果的參數的組合
13. best_score_：成員提供優化過程期間觀察到的最好的評分

屬性方法：

1. grid.fit( train_x, train_y )：運作網格搜尋
2. grid_scores_：給出不同參數情況下的評價結果
3. best_params_：描述了已取得最佳結果的參數的組合
4. best_score_：成員提供優化過程期間觀察到的最好的評分

示例：

from sklearn.grid_search import GridSearchCV

classifier = RandomForestRegressor()
#将需要周遊的參數定義為字典
parameters_grid= {'n_estimators':[50,100,500,1000],
          'max_depth':[3,4,5],
          'max_features':[0.5,0.75]，
          'criterion':['entropy','gini']}
model=GridSearchCV(classifier,param_grid=parameters_grid,cv=5)
model.fit(x_train,y_train)
print('model.best_score_:: ',model.best_score_)
print('model.best_params_::  ',model.best_params_)
print('模型最高分：{:.3f}'.format(model.score(x_test,y_test)))