概率密度函数估计的引入

采用贝叶斯决策需要已知两种知识：

• 各类的先验概率 P ( w i ) P(w_i) P(wi​)
• 各类的条件概率密度函数 ρ ( x ∣ w i ) \rho(x|w_i) ρ(x∣wi​)

在已知上述两种知识的前提下，才能够对未知样本进行分类。

我们希望：当样本数 N → ∞ N \rightarrow \infty N→∞时，得到的分类器能收敛于理论上的最优解。而在实际问题中，我们仅已知有限数目的样本。

类的先验概率的估计方法

：（ P ( w i ) P(w_i) P(wi​)）

• 用训练数据中各类出现的频率来估计
• 依靠经验

类条件概率密度函数的估计

：（ ρ ( x ∣ w i ) \rho(x|w_i) ρ(x∣wi​)）

• 参数估计：概率密度函数的形式已知，参数未知，需要通过训练数据来估计（矩估计、最大似然估计、Bayes估计）
• 非参数估计：概率密度函数的形式未知，利用训练数据直接对概率密度进行估计（ k n kn kn-近邻法、Parzen窗法）