贝叶斯推理

论贝叶斯方法的重要性？

如今，贝叶斯方法席卷了概率论，并将应用延伸到各个问题领域，所有需要作出概率预测的地方都可以见到贝叶斯方法的影子。特别地，贝叶斯是机器学习的核心方法之一。

一、概念阐述

贝叶斯法则又被称为贝叶斯定理、贝叶斯规则，是指概率统计中的应用所观察到的现象对有关概率分布的主管判断（即先验概率）进行修正的标准方法。当分析样本大到接近总体数时，样本中事件发生的概率将接近于总体中事件发生的概率。

贝叶斯统计中的两个基本概念是先验分布和后验分布：

1、先验分布。总体分布参数theta的一个概率分布。贝叶斯学派的根本观点，是认为在关于总体分布参数theta的任何统计推断问题中，除了使用样本所提供的信息外，还必须规定一个先验分布，它是在进行统计推断时不可缺少的一个要素。他们认为先验分布不必有客观的依据，可以部分地或完全地基于主观信念。

2、后验分布。根据样本分布和未知参数的先验分布，用概率论中求条件概率分布的方法，求出的在样本已知下，未知参数的条件分布。因为这个分布是在抽样以后才得到的，故称为后验分布。贝叶斯推断方法的关键是任何推断都必须且只需根据后验分布，而不能涉及样本分布。

二、贝叶斯公式

P(A∩B)=P(AB)=P(B)P(A|B)=P(A)P(B|A)(1)

P(A|B)=P(AB)/P(B)=P(B|A)*P(A)/P(B)(2)

P(B|A)=P(AB)/P(A)=P(A|B)*P(B)/P(A)(3)

而上述公式里面的P(AB)，是指AB 都发生的概率。公式（2）表示的是事件A在事件B的条件下的概率，公式（3）表示的是时间B在事件A的条件下发生的概率，这两者的概率是不一样的。然而，这两者是有确定的关系的，贝叶斯法则就是这种关系的陈述。

其中：

1、P(A)是A的先验概率或边缘概率，称作“先验”是因为它不考虑B因素。

2、P(A|B)是已知B发生后A的条件概率，也称作A的后验概率。

3、P(B|A)是已知A发生后B的条件概率，也称作B的后验概率，这里称为似然度。

4、P(B)是B的先验概率或边缘概率，这里称作标准化常量。

5、P(B|A)/P(B)称作标准似然度。

贝叶斯法则又可表述为：

后验概率=（似然度*先验概率）/标准化常量=标准化似然度*先验概率

P(A|B)随着P(A)和P(B|A)的增长而增长，随着P(B)的增长而减小。即如果B独立于A时，被观察到的可能性越大，那么B对A的支持度越小。

本文参考博客链接：

http://mindhacks.cn/2008/09/21/the-magical-bayesian-method/

http://blog.csdn.net/yanghonker/article/details/51505068

http://www.cnblogs.com/ohshit/p/5629581.html