前面提到,當機率密度函數滿足高斯分布或正态分布的情況,貝葉斯決策的分類面就是一個二次函數,這篇部落格來學習有關二次判别。
首先給出二次判别函數的一般形式:
![](https://img.laitimes.com/img/9ZDMuAjOiMmIsIjOiQnIsICOwQTMyMTMwETMwYDM2EDMy8CX0Vmbu4GZzNmLn9Gbi1yZtl2Lc9CX6MHc0RHaiojIsJye.jpg)
(1)
其中,W是d階對稱方陣,w為d維權向量;
從判别式中可以看出,有很多參數,其中等式右邊第二項就有d(d-1)/2個參數,很明顯,這是一個O(n^2)的複雜度,如果仍然像學習線性函數一樣去學習這些參數,計算量可想而知會非常大,并且如果樣本不足的話就很難保證判别的準确性,當然推廣能力也不強,是以在實際解決中,人們往往采用參數估計來估計得到二次判别函數,即估計出每一類的均值和協方差:
假設每一诶樣本都滿足高斯分布,是以可以定義每一類的判别函數為樣本到均值的馬氏距離的平方與給定門檻值之間的比較:
(2)
其中,mk為每一樣本類的樣本均值,∑k是每一類的協方差矩陣,右側第一項是一個判别門檻值,它取決于先驗機率和∑k;
均值和協方差的估計:
(3)
(4)
對于一個兩類問題,其決策面為:
(5)
決策規則為:如果左邊大于右邊,就決策為w1類,右邊大于左邊,就決策為w2類,如果決策出現錯誤,可以調整兩類的門檻值來減小錯曲率。
特殊地,如果其中一類分布比較接近高斯分布,即分布為團狀,而另外一類則較均勻的分布在第一類附近,對于這種情況無需作出想公式(5)一樣的決策面,隻需要求出第一類的判别函數即可,可以看到如公式(2)中,如果第二項(馬氏距離平方)小于第一項的門檻值,則g(x)>0,于是判為w1類,反之w2類。
總之,不管需不需要求解決策面方程,都是比較簡單的。