模型調優方法

• • • 參數調整
    • 效果優化
    • • 過拟合
      • 欠拟合
    • 權重分析
    • Bad-Case 分析

模型調優，首先應解決欠拟合問題，其次再解決過拟合問題。否則即便是過拟合控制得很好（訓練精度與測試精度非常接近），但拟合程度卻依然很低，達不到目的。

更主要的，是從資料的特征入手，好的特征工程決定預測結果的上限。

• 參數調整

  主要調整模型中的超參數，例如學習速率等。

  可以使用 網格搜尋 方法，或者修改模型結構。

• 效果優化

  1. 過拟合

     ∙ \bullet ∙ 尋找更多的資料

     ∙ \bullet ∙ 增大正則項的強度

     ∙ \bullet ∙ 減小模型結構的複雜度

     ∙ \bullet ∙ 減少特征個數（不推薦）

  2. 欠拟合

     ∙ \bullet ∙ 減小正則項的系數

     ∙ \bullet ∙ 找更多的特征

     ∙ \bullet ∙ 尋找更多的資料

     ∙ \bullet ∙ 換更好的模型

• 權重分析

  對權重絕對值高/低的特征做更精細工作，例如删除權重非常低得特征，保留權重高的特征；或可以将權重高得特征進行粒度細化，發掘其隐藏的特征。

• Bad-Case 分析

  關注錯誤樣本的相關資訊：
  1. 哪些樣本分錯了
  2. 哪些特征促使模型做出此判斷（權值高）
  3. 這些 bad-case 存在那些共性
  4. 是否有可以繼續挖掘的特性
  5. 哪些樣本預測結果與真實結果差距非常大，以及為什麼。