機器學習筆記 第4課：偏差，方差和權衡

經由偏差 - 方差的權衡，我們可以更好地了解機器學習算法。

偏差（bias）是模型所做的簡化假設，其目的是更容易地學習目标函數。

通常，參數算法具有高偏差。它們學習起來很快，且易于了解，但通常不太靈活。反過來，它們對複雜問題的預測性能較低，無法滿足算法偏差的簡化假設。

決策樹是一種低偏差算法，而線性回歸則是一種高偏差算法。

方差（variance）表示的是，如果使用不同的訓練資料，目标函數的估計有多少的變化量。目标函數是通過機器學習算法從訓練資料中估計而成的，是以我們應該期望算法具有一些方差，而不是零方差。

K-Nearest Neighbors算法是一個典型的高方差算法，而線性判别分析是低方差算法的一個例子。

任何預測模組化的機器學習算法，都有一個目标：實作低偏差和低方差。反之，該算法應該具有良好的預測性能。機器學習算法的參數化通常是在偏差和方差之間取得平衡。

• 增加偏差會減少差異。
• 增加方差将減少偏差。