统计基础 统计基础

机器学习需要深厚的数学基础，矩阵、统计、优化，这些都是基本功。勿在浮沙筑高台！所以在本文中将总结学习统计基础知识，夯实基础！

正态分布在机器学习中有着重要的应用，在数学上有这样一个结论：根据中心极限定理，多个随机变量之和服从正态分布。根据这个结论，在误差分析时，

可以认为所产生的误差是多个独立同分布误差的叠加，因此最终的误差服从正态分布。

单变量正态分布

N(x|μ,σ2)=1(2πσ2)12exp{?12(x?μ)2}

其中,E(x)=μ,

var(x)=σ2.

多变量正态分布

N(X|μ,Σ)=1(2π)D21|Σ|12exp{?12(X?μ)TΣ?1(X?μ)}

其中，E(X)=μ，

var(X)=Σ，Σ是n阶对称正定矩阵。

而Σ是对称矩阵，所以存在正交矩阵T(T′=T?1)，使得T′ΣT=Λ，

其中Λ是对角阵，其对角线上的元素λ1,λ2,...,λn是Σ的特征根。因为Σ是正定的，故λ1,λ2,...,λn都是正的。

高斯条件分布

对于联合分布N(X|μ,Σ),

Λ=Σ?1,其中

X=(xaxb),μ=(μaμb)

Σ=(ΣaaΣbaΣabΣbb),Λ=(ΛaaΛbaΛabΛbb)

则条件分布的概率为

p(Xa|Xb)=N(X|μa|b,Λ?1aa)

μa|b=μa?Λ?1aaΛab(Xb?Xa)

边际分布的概率为

p(Xa)=N(Xa|μa,Σaa)

若X服从N(μ,Σ)，则Y=AX+b服从N(Aμ+b,AΣA′)

混合高斯分布

高斯分布是一个单峰模型，其对于多峰模型的描述显然是不够的，所以引入了混合高斯分布，即多个高斯分布的凸组合

p(x)=Σk=1KπkN(x|μk,Σk)

其中，Σk=1Kπk=1，0≤πk≤1

Γ函数

是阶乘在实数和复数上的扩展

Γ(t)=∫∞0xt?1e?xdx

当t为正整数时

Γ(t)=(t?1)!

Γ函数性质

Γ(t+1)=tΓ(t)

Γ(1)=1

Γ(12)=π√

Γ分布密度函数

f(x)=λαxα?1Γ(α)e?λx

称x服从参数为α,λ的Γ分布，记为x Γ(α,λ)

Γ分布性质

Gamma分布中的参数α称为形状参数（shape

parameter），λ称为尺度参数（scale

parameter）。在实验中，它模拟假设随机变量X为 等到第α件事发生所需之等候时间，α,λ是两个分布调整参量。

E(x)=αλ

σ2(x)=αλ2

Beta函数

B(p,q)=Γ(p)Γ(q)Γ(p+q)=∫10xp?1(1?x)q?1dx

Beta分布密度函数

Beta(μ|p,q)=Γ(p+q)Γ(p)Γ(q)μp?1(1?μ)q?1=1B(p,q)μp?1(1?μ)q?1

其均值和方差如下所示：

E(μ)=pp+q

var(μ)=pq(p+q)2(p+q+1)

Beta分布是区间[0,1]上的单峰分布，所以可以在某些情况下对数据进行很好的描述。比如，其可作为伯努利分布的贝叶斯参数估计时的先验分布。

定义

Dir(μ|α)=Γ(α0)Γ(α1)...Γ(αk)∏k=1Kμαk?1k

其中α0=Σk=1Kαk

Beta分布与Dirichlet分布的关系

Beta分布对应二项分布，Dirichlet对应多项分布

Beta分布是Dirichlet分布的特例

若x的概率密度可以表示为

p(x|η)=h(x)g(η)exp{ηTu(x)}

则称此分布为指数族分布。其中，η称为自然参数，u(x)是x的函数，g(η)可以看作是归一化概率密度的参数，即

g(η)∫h(x)exp{ηTu(x)}=1

实例

二项分布、多项分布、指数分布、Gamma分布等