minP(e)=∫P(e|x)p(x)dx
这就是
最小错误率贝叶斯决策
。
P(e|x)≥0,p(x)≥0对于所有的x均成立,故minP(e)等同于对所有的x最小化P(e|x),即:使后验概率P(wi|x)最大化。根据贝叶斯公式:
P(wi|x)=p(x|wi)P(wi)p(x)=p(x|wi)P(wi)∑kj=1p(x|wj)P(wj),i=1,2,...,k
在上式中,对于所有类别,分母都是相同的,所以决策的时候实际上只需要比较分子,即:
若p(x|wi)P(wi)=maxkj=1P(wj|x)P(wi),则x∈wi
先验概率
P(wi)
和类条件概率密度
p(x|wi)
是已知的。概率密度
p(x|wi)
反应了在
wi
类中观察到特征值x的相对可能性(
likelihood
)。
举个简单的例子还说明最小错误贝叶斯决策。
假设某地区检测到细胞为正常细胞的概率w1和癌细胞的概率w2分别为:
w1=0.9,w2=0.1
现在对于一个待决策的细胞,其特征的观察之为
x
,且从类条件概率密度曲线上分别查得:
p(x|w1)=0.2,p(x|w2)=0.4
现在需要对该细胞进行决策,判断是正常细胞还是癌细胞。根据贝叶斯公式,分别计算出
w1
和
w2
的后验概率:
P(w1|x)=p(x|w1)P(w1)∑2j=1p(x|wj)P(wj)=0.2×0.90.2×0.9+0.4×0.1=0.818
P(w2|x)=1−P(w1|x)=0.182
因为:
P(w1|x)=0.818>0.182=P(w2|x)
,所以更合理的决策是将
x
归类为
w1
,即正常细胞。
x归类于最大后验概率的那一类,即:
若P(wi|x)=maxj=1,...,cP(wj|x),则x∈wi
等价于:
若p(x|wi)P(wi)=maxkj=1P(wj|x)P(wi),则x∈wi
贝叶斯公式是用来计算后验概率的工具。