使用概率分布可以描述全局状态和图像数据。为此已经给出了四个分布（伯努利分布、分类分布、一元正态分布、多元正态分布）。还给出了另外四个分布（贝塔分布、狄利克雷分布、正态逆伽马分布、正态逆维希特分布），可以用于描述上一组分布的参数的概率分布，因此它们可以描述拟合模型的不确定性。这4对分布有特殊关系：第二组中的每个分布是对应的第一组的共轭。正如我们看到的，共轭关系可以更容易地拟合观测数据并在拟合分布模型下评估新的数据。
备注
本书用较为深奥的术语来介绍离散分布，区分二项分布（在N次二值试验中获得M次成功的概率）和伯努利分布（在二值试验中或一次实验中获得成功或失败的概率），并专门谈论后者。本书采取类似的方法介绍离散变量，它可以有K个值。多项分布表征分在N次试验中频率为{M1,M2,…，MK}的值{1,2,…，K}出现的概率。当N=1时就是特殊的分类分布。大多数其他作者不做这种区分，并会称这种为“多项”。
附录B中Bishop（2006）更完整地介绍了常见的概率分布及其性质。关于共轭的更多信息可查看Bishop（2006）第2章或有关贝叶斯方法的其他书籍，比如Gelman等（2004）。关于正态分布更多信息参见本书第5章。
习题
3.1 已知变量x服从参数为λ的伯努利分布。证明：E［x］=λ；E［(x-E［x］)2］=λ(1-λ）。
3.2 请给出用参数α和β表示贝塔分布（α,β>1）的模（峰值位置）的表达式。
3.3 贝塔分布的均值和方差由如下表达式给出E
不妨选择参数α和β，使分布有一个特殊的均值μ和方差σ2。根据μ和σ2推导出α和β的合适表达式。
3.4 本章所有的分布都是指数族的成员，可以写成下形式
这里,a［x］和c［x］是数据的函数，b［θ］和d［θ］是参数的函数。求函数a［x］，b［θ］，c［x］和d［θ］，使贝塔分布能够表示为指数族的广义形式。
3.5 使用分部积分法来证明，如果
那么
3.6 考虑一簇方差为1的正态分布，即
证明它与一个参数为μ的正态分布
是共轭的。
3.7 对于正态分布，求函数a［x］、b［θ］、c［x］和d［θ］，使它可以表示为指数族的广义形式（见习题3.4）。
3.8 设参数为α、β、γ、δ，试求正态逆伽马分布的模（μ，σ2空间的峰值位置）的表达式。
3.9 证明更为一般的共轭关系：I个伯努利分布的积与其共轭贝塔分布相乘的关系如下
其中
3.10 证明共轭关系
Nk是变量取k的总次数。
3.11 证明正态分布和正态逆伽马分布之间的共轭关系为
3.12 证明多元正态分布和正态逆维希特分布之间的共轭关系为
可能需要用到这个关系式: