本節預設以錯誤率為性能度量，用 ϵ \epsilon ϵ表示。
比較檢驗
1 假設檢驗
泛化錯誤率 ϵ \epsilon ϵ：在一個樣本上犯錯的機率是 ϵ \epsilon ϵ。
測試錯誤率 ϵ ^ \hat{\epsilon} ϵ^：在 m m m個測試樣本中恰有 ϵ ^ × m \hat{\epsilon}\times m ϵ^×m個被誤分類。
泛化錯誤率為 ϵ \epsilon ϵ的學習器将其中 m ′ m' m′個樣本誤分類、其餘樣本全部分類正确的機率是 ϵ m ′ ( 1 − ϵ ) m − m ′ \epsilon^{m'}(1-\epsilon)^{m-m'} ϵm′(1−ϵ)m−m′。
将 ϵ ^ × m \hat{\epsilon}\times m ϵ^×m個樣本誤分類的機率為：（在包含 m m m個樣本的測試集上，泛化錯誤率為 ϵ \epsilon ϵ學習器被測得測試錯誤率為 ϵ ^ \hat{\epsilon} ϵ^的機率）
P ( ϵ ^ ; ϵ ) = ( m ϵ ^ × m ) ϵ ϵ ^ × m ( 1 − ϵ ) m − ϵ ^ × m P(\hat{\epsilon};\epsilon)=\left( \begin{array}{c} m \\ \hat{\epsilon}\times m \end{array} \right)\epsilon^{\hat{\epsilon}\times m}(1-\epsilon)^{m-\hat{\epsilon}\times m} P(ϵ^;ϵ)=(mϵ^×m)ϵϵ^×m(1−ϵ)m−ϵ^×m
