資料分析之統計分析基礎(4)

文章目錄

• 單變量推論統計
• • 參數估計（parameter estimation）
  • • 點估計
    • • 矩估計法
      • 貝葉斯公式
      • 極大似然估計(Maximum Likelihood Estimation, 簡稱MLE)
      • 最大後驗機率估計(Maximum a Posteriori Probability, 簡稱MAP)
      • 貝葉斯估計
    • 區間估計
    • • 樞紐變量法
      • 大樣本法
      • 置信界
      • 貝葉斯法
  • 假設檢驗

單變量推論統計

在實際的社會調查中，普查的方式使用很少，通常是使用抽樣調查的方式。而單變量推論統計的目的，就是通過樣本調查中所得到的資料資料，對總體的狀況進行推斷。可以從區間估計和假設檢驗兩個方面進行。

機率（probabilty）和統計（statistics） 看似兩個相近的概念，其實研究的問題剛好相反。機率研究的問題是，已知一個模型和參數，怎麼去預測這個模型産生的結果的特性（例如均值，方差，協方差等等）。統計是有一堆資料，要利用這堆資料去預測模型和參數。機率是已知模型和參數，推資料。統計是已知資料，推模型和參數。機率論是數理統計學的基礎，數理統計學是機率論的重要應用。

統計學中有兩個大的學派：頻率學派(也稱經典學派)和貝葉斯學派。衆所周知統計推斷是根據樣本資訊對總體分布或者是總體特征數進行推斷，經典學派和貝葉斯學派就是通過統計推斷的不同方式劃分的，經典學派的統計推斷是依據樣本資訊 和總體資訊來進行推斷，而貝葉斯學派認為除了依據以上兩種資訊來進行推斷以外還可以應該加上先驗資訊來進行統計推斷。

樣本資訊：

樣本資訊即抽取樣本觀測其值所得到的資訊，我們希望用樣本資訊來對總體特征進行推斷，樣本資訊越多我們推斷總體也就越是準确。

總體資訊：

總體資訊即總體分布或者總體分布族所提供的資訊，如果知道某個随機變量服從某個分布就可以根據這個分布來進行統計推斷。

先驗資訊：

如果把抽取樣本看做是一次随機試驗，那麼樣本資訊就是試驗中得到的資訊，但是往往我們在研究某些問題之前總要對研究的問題有所了解，這種了解包括經驗上的了解即過去是否存在過同樣的問題或者是關于同樣問題的一些曆史樣本，這研究問題之前就能夠了解到的資訊就叫做先驗資訊，貝葉斯學派認為’曆史經驗’也能夠在一定程度上面幫助我們進行統計推斷。

貝葉斯學派與經典學派最大的不同之處在于其認為統計推斷過程具有一種連續性，也即用曆史的眼光看待問題，用發展的角度看待問題，他們認為過去的事情與現在的事情是有聯系的或者是過去的樣本與現在的樣本是有聯系的，能夠運用曆史經驗來修正經典學派基于現有經驗的統計推斷。

貝葉斯學派的基本觀點是：任一未知統計量 θ \theta θ都可以看做一個随機變量也即我們需要推斷的總體的某個特征服從某個分布，這也就是說我們可以根據先驗資訊建立一個 θ \theta θ服從的分布，這樣做的目的就在于合理的利用先驗資訊來進行統計推斷。

參數估計（parameter estimation）

參數估計（點估計和區間估計）

點估計

當我們想知道某一總體的某個名額的情況時，測量整體該名額的數值的工作量太大或者不符合實際，這時我們可以采用抽樣的方法選取一部分樣本測量出他們數值，然後用樣本統計量的值來估計總體的情況。

常用的點估計有：用樣本均值估計總體均值、用樣本方差估計總體方差、用樣本的分位數估計總體的分位數、用樣本的中位數估計總體的中位數。

點估計方法：矩估計法、極大似然估計、最大後驗機率估計、貝葉斯估計。

參考文章：

貝葉斯估計、最大似然估計、最大後驗機率估計

詳解最大似然估計（MLE）、最大後驗機率估計（MAP），以及貝葉斯公式的了解

【數學基礎】參數估計之極大似然估計

【數學基礎】參數估計之最大後驗估計（Maximum A Posteriori，MAP）

【數學基礎】參數估計之貝葉斯估計

數學漫步——貝葉斯估計思想

矩估計法

用樣本矩估計總體矩，用樣本矩函數估計總計矩函數。優點：不要求知道總體的分布。缺點：不唯一。

貝葉斯公式

貝葉斯公式： p ( w ∣ x ) = p ( x ∣ w ) p ( w ) p ( x ) p(w|x)=\frac{p(x|w)p(w)}{p(x)} p(w∣x)=p(x)p(x∣w)p(w)​

p ( w ) p(w) p(w)為先驗機率，表示每種類别分布的機率； p ( x ∣ w ) p(x|w) p(x∣w)為類條件機率，表示在某種類别前提下，某事發生的機率； p ( w ∣ x ) p(w|x) p(w∣x)為後驗機率，表示某事發生了，并且它屬于某一類别的機率。後驗機率越大，說明某事物屬于這個類别的可能性越大，我們越有理由把它歸到這個類别下。貝葉斯公式就是在描述，你有多大把握能相信一件證據？（how much you can trust the evidence）。做判斷的時候，要考慮所有的因素。一個本來就難以發生的事情，就算出現某個證據和他強烈相關，也要謹慎。證據很可能來自别的雖然不是很相關，但發生機率較高的事情。

但是在實際問題中我們能獲得的資料可能隻有有限數目的樣本資料，而先驗機率 p ( w ) p(w) p(w)和類條件機率(各類的總體分布) p ( x ∣ w ) p(x|w) p(x∣w)都是未知的。根據僅有的樣本資料進行分類時，一種可行的辦法是我們需要先對先驗機率和類條件機率進行估計，然後再套用貝葉斯分類器。

先驗機率的估計較簡單：

1、 每個樣本所屬的自然狀态都是已知的（有監督學習）；

2、 依靠經驗；

3、 用訓練樣本中各類出現的頻率估計。

類條件機率的估計非常難，原因包括：

1、 機率密度函數包含了一個随機變量的全部資訊；

2、 樣本資料可能不多；

3、 特征向量 x x x的次元可能很大等等。

極大似然估計(Maximum Likelihood Estimation, 簡稱MLE)

機率最大的事件，最可能發生。其實我們生活中無時無刻不在使用這種方法，隻是不知道它在數學中是如何确定或者推導的。而在數理統計中，它有一個專業的名詞：極大似然估計，也叫最像估計法（最可能估計法）。似然(likelihood)，似然函數是在"已知"樣本随機變量 X X X的情況下，估計參數空間中的參數 θ \theta θ的值。要求分布有參數形式。

對于似然函數： P ( x ∣ θ ) P(x|\theta) P(x∣θ)輸入有兩個： x x x表示某一個具體的資料； θ \theta θ表示模型的參數。如果 θ \theta θ是已知确定的， x x x是變量，這個函數叫做機率函數(probability function)，它描述對于不同的樣本點 x x x，其出現機率是多少。如果 x x x是已知确定的， θ \theta θ是變量，這個函數叫做似然函數(likelihood function), 它描述對于不同的模型參數，出現 x x x這個樣本點的機率是多少。

最大似然估計的目的就是：利用已知的樣本結果，反推最有可能（最大機率）導緻這樣結果的參數值。

重要前提：

1、訓練樣本的分布能代表樣本的真實分布。

2、每個樣本集中的樣本都是所謂獨立同分布的随機變量 (iid條件)，

3、且有充分的訓練樣本。

原理：

極大似然估計是建立在極大似然原理的基礎上的一個統計方法，是機率論在統計學中的應用。極大似然估計提供了一種給定觀察資料來評估模型參數的方法，即：“模型已定，參數未知”。通過若幹次試驗，觀察其結果，利用試驗結果得到某個參數值能夠使樣本出現的機率為最大，則稱為極大似然估計。

計算過程：

設總體有分布 f ( x ; θ 1 , … , θ k ) f(x;\theta_1,\dots,\theta_k) f(x;θ1​,…,θk​)， X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​為這個總體中抽出的樣本，那麼樣本 ( X 1 , … , X n ) (X_1,\dots,X_n) (X1​,…,Xn​)的分布為 f ( x 1 ; θ 1 , … , θ k ) … f ( x k ; θ 1 , … , θ k ) f(x_1;\theta_1,\dots,\theta_k)\dots f(x_k;\theta_1,\dots,\theta_k) f(x1​;θ1​,…,θk​)…f(xk​;θ1​,…,θk​)

記為 L ( x 1 , … , x n ; θ 1 , … , θ k ) L(x_1,\dots,x_n;\theta_1,\dots,\theta_k) L(x1​,…,xn​;θ1​,…,θk​).

固定 θ 1 , … , θ k \theta_1,\dots,\theta_k θ1​,…,θk​，看作 x 1 , … , x n x_1,\dots,x_n x1​,…,xn​的函數時， L L L為一個機率密度函數。

當固定 x 1 , … , x n x_1,\dots,x_n x1​,…,xn​，看作 θ 1 , … , θ k \theta_1,\dots,\theta_k θ1​,…,θk​的函數時， 為似然函數。當已經觀察到 X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​時，若 L ( x 1 , … , x n ; θ 1 ′ , … , θ k ′ ) > L ( x 1 , … , x n ; θ 1 ′ ′ , … , θ k ′ ′ ) L(x_1,\dots,x_n;\theta_1^{'},\dots,\theta_k^{'})>L(x_1,\dots,x_n;\theta_1^{''},\dots,\theta_k^{''}) L(x1​,…,xn​;θ1′​,…,θk′​)>L(x1​,…,xn​;θ1′′​,…,θk′′​)，則被估計的參數 ( θ 1 , … , θ k ) (\theta_1,\dots,\theta_k) (θ1​,…,θk​)是 θ 1 ′ , … , θ k ′ \theta_1^{'},\dots,\theta_k^{'} θ1′​,…,θk′​的可能性要比是 θ 1 ′ ′ , … , θ k ′ ′ \theta_1^{''},\dots,\theta_k^{''} θ1′′​,…,θk′′​的可能性大。

應用似然程度最大的點 θ 1 ∗ , … , θ k ∗ \theta_1^{*},\dots,\theta_k^{*} θ1∗​,…,θk∗​，即滿足條件 L ( x 1 , … , x n ; θ 1 ∗ , … , θ k ∗ ) = max ⁡ θ 1 , … , θ k L ( x 1 , … , x n ; θ 1 , … , θ k ) L(x_1,\dots,x_n;\theta_1^{*},\dots,\theta_k^{*})=\max\limits_{\theta_1,\dots,\theta_k}L(x_1,\dots,x_n;\theta_1,\dots,\theta_k) L(x1​,…,xn​;θ1∗​,…,θk∗​)=θ1​,…,θk​max​L(x1​,…,xn​;θ1​,…,θk​)的 ( θ 1 ∗ , … , θ k ∗ ) (\theta_1^{*},\dots,\theta_k^{*}) (θ1∗​,…,θk∗​)作為 ( θ 1 , … , θ k ) (\theta_1,\dots,\theta_k) (θ1​,…,θk​)的估計值。即“看起來最像”。

另計算：

l n L = ∑ i = 1 n l n f ( X i ; θ 1 , … , θ k ) lnL=\sum_{i=1}^{n}{lnf(X_i;\theta_1,\dots,\theta_k)} lnL=i=1∑n​lnf(Xi​;θ1​,…,θk​)

且為了使 L L L達到最大，隻需要使 l n L lnL lnL達到最大。故連續偏導後： ∂ l n L ∂ θ i = 0 , i = 1 , … , k \frac{\partial lnL}{\partial \theta_i}=0,i=1,\dots,k ∂θi​∂lnL​=0,i=1,…,k

求出唯一解。

最大後驗機率估計(Maximum a Posteriori Probability, 簡稱MAP)

在極大似然估計中， θ i \theta_i θi​是一個待估參數，其本身是确定的，即使目前未知。與極大似然估計不同的是，MAP将參數 θ i \theta_i θi​看作一個随機變量。MAP考量的是事件集 X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​已經發生了，那在事件集發生的情況下，哪個 θ i \theta_i θi​發生的機率最大。即 p ( θ ∣ X ) = p ( X ∣ θ ) p ( θ ) p ( X ) p(\theta|X)=\frac{p(X|\theta)p(\theta)}{p(X)} p(θ∣X)=p(X)p(X∣θ)p(θ)​

在最大似然估計中，參數 θ \theta θ是一個定值，隻是這個值未知，最大似然函數是 θ \theta θ的函數，這裡 θ \theta θ是沒有機率意義的。但是，在最大後驗估計中， θ \theta θ是有機率意義的， θ \theta θ有自己的分布，而這個分布函數，需要通過已有的樣本集合 X X X得到，即最大後驗估計需要計算的是 p ( θ ∣ X ) p(\theta|X) p(θ∣X).

計算：

p ( θ ∣ X ) = p ( X ∣ θ ) p ( θ ) p ( X ) p(\theta|X)=\frac{p(X|\theta)p(\theta)}{p(X)} p(θ∣X)=p(X)p(X∣θ)p(θ)​這個公式中，參數 θ \theta θ是關于集合 X X X的後驗機率，要使得後驗機率最大，求導。 θ ^ M A P = a r g max ⁡ θ p ( θ ∣ X ) = a r g max ⁡ θ p ( θ ) p ( X ∣ θ ) \hat{\theta}_{MAP}=arg\max\limits_{\theta}p(\theta|X)=arg\max\limits_{\theta}p(\theta)p(X|\theta) θ^MAP​=argθmax​p(θ∣X)=argθmax​p(θ)p(X∣θ)

求梯度：

p ( θ ∣ X ) ∂ θ = p ( θ ) p ( X ∣ θ ) ∂ θ = 0 \frac{p(\theta|X)}{\partial\theta}=\frac{p(\theta)p(X|\theta)}{\partial\theta}=0 ∂θp(θ∣X)​=∂θp(θ)p(X∣θ)​=0

MAP和MLE的差別是：MAP是在ML的基礎上加上了 p ( θ ) p(\theta) p(θ), p ( θ ) p(\theta) p(θ)稱為 θ \theta θ的先驗機率。

貝葉斯估計

核心問題：

這裡定義已有的樣本集合 X X X。樣本集合 X X X中的樣本都是從一個固定但是未知的機率密度函數 p ( θ ) p(\theta) p(θ)中獨立抽取出來的，要求根據這些樣本估計 x x x的機率分布，記為 p ( θ ∣ X ) p(\theta|X) p(θ∣X)，并且使得 p ( θ ∣ X ) p(\theta|X) p(θ∣X)盡量的接近 p ( θ ) p(\theta) p(θ)，這就是貝葉斯估計的核心問題。

貝葉斯公式的密度函數形式：

p ( x ∣ θ ) p(x|\theta) p(x∣θ)表示随機變量 θ \theta θ給定某個值時， X X X的條件密度函數；根據參數 θ \theta θ的先驗資訊确定先驗分布 π ( θ ) \pi(\theta) π(θ)；

貝葉斯的觀點，樣本 X = ( X 1 , X 2 , … , X n ) X=(X_1,X_2,\dots,X_n) X=(X1​,X2​,…,Xn​)的産生要分為兩步進行。一、設想從先驗分布 π ( θ ) \pi(\theta) π(θ)産生一個樣本 θ ′ \theta^{'} θ′；二、從 p ( x ∣ θ ′ ) p(x|\theta^{'}) p(x∣θ′)中産生一個樣本 X X X。這時樣本 的聯合條件密度函數為： p ( X ∣ θ ′ ) = p ( x 1 , … , x n ∣ θ ′ ) = ∏ i = n n p ( x i ∣ θ ′ ) p(X|\theta^{'})=p(x_1,\dots,x_n|\theta^{'})=\prod_{i=n}^{n}{p(x_i|\theta^{'})} p(X∣θ′)=p(x1​,…,xn​∣θ′)=i=n∏n​p(xi​∣θ′)

這個聯合分布綜合了總體資訊和樣本資訊，稱為似然函數。

由于 θ ′ \theta^{'} θ′是設想出來的，仍然時未知的，它是按先驗分布 π ( θ ) \pi(\theta) π(θ)産生的。為了把先驗資訊綜合進去，不能隻考慮 θ ′ \theta^{'} θ′，對 θ \theta θ的其他值發生的可能性也要加以考慮，故要用 π ( θ ) \pi(\theta) π(θ)進行綜合。這樣一來，樣本 X X X和參數 θ \theta θ的聯合分布為 h ( x , θ ) = p ( x ∣ θ ) π ( θ ) h(x,\theta)=p(x|\theta)\pi(\theta) h(x,θ)=p(x∣θ)π(θ)

這個聯合分布把三種可用資訊都綜合進去了。

對未知參數 θ \theta θ作統計推斷，在沒有樣本資訊時，隻能依據先驗分布 π ( θ ) \pi(\theta) π(θ)對 θ \theta θ作出推斷。在有了樣本觀察值 x = ( x 1 , … , x n ) x=(x_1,\dots,x_n) x=(x1​,…,xn​)之後，應依據 h ( x , θ ) h(x,\theta) h(x,θ)對 θ \theta θ作出推斷。 h ( x , θ ) = π ( x ∣ θ ) m ( θ ) h(x,\theta)=\pi(x|\theta)m(\theta) h(x,θ)=π(x∣θ)m(θ)

其中 m ( θ ) m(\theta) m(θ)是 X X X的邊緣密度函數： m ( θ ) = ∫ θ h ( x , θ ) d θ = ∫ θ p ( x ∣ θ ) π ( θ ) d θ m(\theta)=\int_{\theta}{h(x,\theta)}d\theta=\int_{\theta}{p(x|\theta)\pi(\theta)}d\theta m(θ)=∫θ​h(x,θ)dθ=∫θ​p(x∣θ)π(θ)dθ

于是貝葉斯公式的密度函數形式為： π ( θ ∣ x ) = h ( x , θ ) m ( x ) = p ( x ∣ θ ) π ( θ ) ∫ θ p ( x ∣ θ ) π ( θ ) d θ \pi(\theta|x)=\frac{h(x,\theta)}{m(x)}=\frac{p(x|\theta)\pi(\theta)}{\int_{\theta}{p(x|\theta)\pi(\theta)}d\theta} π(θ∣x)=m(x)h(x,θ)​=∫θ​p(x∣θ)π(θ)dθp(x∣θ)π(θ)​

常用方法：

π ( θ ∣ x ) \pi(\theta|x) π(θ∣x)被稱作後驗分布（後驗機率），使用它估計 θ \theta θ有三種常用的方法：

1、使用後驗分布的密度函數最大值點作為 θ \theta θ的點估計的最大後驗估計（MAP）。

2、使用後驗分布的中位數作為 θ \theta θ的點估計的後驗中位數估計（基本沒看到用過）。

3、使用後驗分布的均值作為 θ \theta θ的點估計的後驗期望估計。

用的最多的是後驗期望估計，它一般也直接簡稱為貝葉斯估計，即為 θ ^ B \hat{\theta}_{B} θ^B​.

貝葉斯估計 θ ^ B \hat{\theta}_{B} θ^B​：

貝葉斯估計的本質是通過貝葉斯決策得到參數 θ \theta θ的最優估計，使得總期望風險最小。

定理：

設 θ \theta θ的後驗密度為 π ( θ ∣ x ) \pi(\theta|x) π(θ∣x)，則後驗期望估計 θ ^ B \hat{\theta}_{B} θ^B​使得均方誤差達到最小。

區間估計

參考書目：《機率論與數理統計_陳希孺》p174

區間估計就是在點估計的基礎上，給出總體參數估計的一個區間範圍，該區間通常由樣本統計量加減估計誤差得到，是指在一定的标準差範圍内設立一個置信區間，然後聯系這個區間的可信度将樣本統計值推論為總體參數值。它的實質是在一定的置信度下，用樣本統計值的某個範圍來“框”住總體的參數值，即以兩個數值之間的間距來估計參數值。

給定一個很小的數 α > 0 \alpha>0 α>0, 如果對于參數 θ \theta θ的任何值，機率式 P { θ 1 ( x 1 , x 2 , … , x n ) ⩽ θ 2 ( x 1 , x 2 , … , x n ) } P\{\theta_{1}(x_1,x_2,\dots,x_n) \leqslant \theta_{2}(x_1,x_2,\dots,x_n) \} P{θ1​(x1​,x2​,…,xn​)⩽θ2​(x1​,x2​,…,xn​)}都等于 1 − α 1-\alpha 1−α, 則稱區間估計 [ θ 1 , θ 2 ] [\theta_1, \theta_2] [θ1​,θ2​]的置信系數為 1 − α 1-\alpha 1−α. 是以區間估計也常常被稱為置信區間。

**上分為點：**以 Φ ( x ) \Phi(x) Φ(x)記為 N ( 0 , 1 ) N(0,1) N(0,1)的分布函數，對 0 < β < 1 0<\beta<1 0<β<1，用方程 Φ ( u β ) = 1 − β \Phi(u_{\beta})=1-\beta Φ(uβ​)=1−β定義記号 u β u_{\beta} uβ​. u β u_{\beta} uβ​稱為分布 N ( 0 , 1 ) N(0,1) N(0,1)的上 β \beta β分位點。其意義是： N ( 0 , 1 ) N(0,1) N(0,1)分布中大于 u β u_{\beta} uβ​的那部分機率就是 β \beta β . Φ ( − t ) = 1 − Φ ( t ) \Phi(-t)=1-\Phi(t) Φ(−t)=1−Φ(t)

參考文章：

[推斷統計] 求區間估計：樞軸量法

樞紐變量法

例子說明：

設 X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​為抽自正态總體 N ( μ , σ 2 ) N(\mu,\sigma^2) N(μ,σ2)的樣本， σ 2 \sigma^2 σ2已知，求 μ \mu μ的區間估計。

1、 先找一個 μ \mu μ的良好的點估計，選擇樣本均值 X ‾ \overline{X} X.

2、 由總體為正态可知： n ( X ‾ − μ ) / σ ∼ N ( 0 , 1 ) \sqrt{n}(\overline{X}-\mu)/\sigma\sim N(0,1) n

​(X−μ)/σ∼N(0,1)

3、 有： P ( − u α / 2 ≤ n ( X ‾ − μ ) / σ ≤ u α / 2 ) = Φ ( u α / 2 ) − Φ ( − u α / 2 ) = 1 − α P(-u_{\alpha/2}\leq \sqrt{n}(\overline{X}-\mu)/\sigma\leq u_{\alpha/2}) =\Phi(u_{\alpha/2})-\Phi(-u_{\alpha/2}) =1-\alpha P(−uα/2​≤n

​(X−μ)/σ≤uα/2​)=Φ(uα/2​)−Φ(−uα/2​)=1−α

4、得到區間估計： P ( X ‾ − σ u α / 2 / n ≤ μ ≤ X ‾ + σ u α / 2 / n ) = 1 − α P(\overline{X}-\sigma u_{\alpha/2}/\sqrt{n} \leq \mu \leq \overline{X}+\sigma u_{\alpha/2}/\sqrt{n}) = 1-\alpha P(X−σuα/2​/n

​≤μ≤X+σuα/2​/n

​)=1−α

[ θ ^ 1 , θ ^ 2 ] = [ X ‾ − σ u α / 2 / n , X ‾ + σ u α / 2 / n ] [\hat{\theta}_{1},\hat{\theta}_{2}]=[ \overline{X}-\sigma u_{\alpha/2}/\sqrt{n}, \overline{X}+\sigma u_{\alpha/2}/\sqrt{n}] [θ^1​,θ^2​]=[X−σuα/2​/n

​,X+σuα/2​/n

​]

步驟：

1、 找一個與要估計參數 g ( θ ) g(\theta) g(θ)有關的統計量 T T T，一般是其一個良好的點估計；

2、 設法找出 T T T和 g ( θ ) g(\theta) g(θ)的某一函數 S ( T , g ( θ ) ) S(T,g(\theta)) S(T,g(θ)), 其分布 F F F要與 θ \theta θ無關。則 S ( T , g ( θ ) ) S(T,g(\theta)) S(T,g(θ))稱為樞紐變量。

3、 對任何常數 a < b a<b a<b，不等式 a < S ( T , g ( θ ) ) < b a<S(T,g(\theta))<b a<S(T,g(θ))<b要能改寫為等價的形式： A < g ( θ ) < B A<g(\theta)<B A<g(θ)<B , A , B A,B A,B隻與 T , a , b T,a,b T,a,b有關，而與 θ \theta θ無關。

4、 取分布 F F F的上 α / 2 \alpha/2 α/2分位點 w α / 2 w_{\alpha/2} wα/2​和 1 − α / 2 1-\alpha/2 1−α/2分位點 w 1 − α / 2 w_{1-\alpha/2} w1−α/2​，則有 F ( w α / 2 ) − F ( w 1 − α / 2 ) = 1 − α F(w_{\alpha/2})-F(w_{1-\alpha/2})=1-\alpha F(wα/2​)−F(w1−α/2​)=1−α，是以 P ( w 1 − α / 2 ≤ S ( T , g ( θ ) ) ≤ w α / 2 ) = 1 − α P(w_{1-\alpha/2}\leq S(T,g(\theta))\leq w_{\alpha/2})=1-\alpha P(w1−α/2​≤S(T,g(θ))≤wα/2​)=1−α

不等式改寫，得到 [ A , B ] [A,B] [A,B]區間，該區間就是 g ( θ ) g(\theta) g(θ)的一個置信系數為 1 − α 1-\alpha 1−α的區間估計。

大樣本法

利用極限分布，主要是中心極限定理，來建立樞紐變量。近似滿足樞紐變量的條件。

例子說明：

某事件 A A A在每次試驗中發生的機率為 p p p. 做 n n n次獨立試驗，以 Y n Y_n Yn​記 A A A發生的次數，求 p p p的區間估計。

根據定理：設 X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​獨立同分布， X i X_i Xi​的分布是 P ( X i = 1 ) = p , P ( X i = 0 ) = 1 − p , ( 0 < p < 1 ) P(X_i=1)=p,P(X_i=0)=1-p ,(0<p<1) P(Xi​=1)=p,P(Xi​=0)=1−p,(0<p<1). 則對任何實數 x x x, 有 lim ⁡ n → ∞ P ( 1 n p ( 1 − p ) ( X 1 + ⋯ + X n − n p ) ≤ x ) = Φ ( x ) \lim\limits_{n\rightarrow \infty }P(\frac{1}{\sqrt{np(1-p)}}(X_1+\dots+X_n-np)\leq x )=\Phi(x) n→∞lim​P(np(1−p)

​1​(X1​+⋯+Xn​−np)≤x)=Φ(x)

可知： ( Y n − n p ) / n p ( 1 − p ) ∼ N ( 0 , 1 ) (Y_n-np)/\sqrt{np(1-p)}\sim N(0,1) (Yn​−np)/np(1−p)

​∼N(0,1)

于是樞紐變量為 ( Y n − n p ) / n p ( 1 − p ) ∼ N ( 0 , 1 ) (Y_n-np)/\sqrt{np(1-p)}\sim N(0,1) (Yn​−np)/np(1−p)

​∼N(0,1).

由： P ( − u α / 2 ≤ ( Y n − n p ) / n p ( 1 − p ) ≤ u α / 2 ) ≈ 1 − α P(-u_{\alpha/2}\leq (Y_n-np)/ \sqrt{np(1-p)}\leq u_{\alpha/2})\approx 1-\alpha P(−uα/2​≤(Yn​−np)/np(1−p)

​≤uα/2​)≈1−α,

可改寫為： P ( a ≤ p ≤ B ) ≈ 1 − α P(a\leq p \leq B)\approx 1-\alpha P(a≤p≤B)≈1−α,

其中 A A A和 B B B是二次方程 ( Y n − n p ) 2 / n p ( 1 − p ) = u α / 2 2 (Y_n-np)^2/\sqrt{np(1-p)}=u^{2}_{\alpha/2} (Yn​−np)2/np(1−p)

​=uα/22​的兩個根。

解為： A , B = n n + u α / 2 2 ( p ^ + u α / 2 2 2 n ± u α / 2 p ^ ( 1 − p ^ ) n + u α / 2 2 4 n 2 ) A,B=\frac{n}{n+u^{2}_{\alpha/2}}(\hat{p}+\frac{u^{2}_{\alpha/2}}{2n}\pm u_{\alpha/2} \sqrt{\frac{\hat{p}(1-\hat{p})}{n}+\frac{u^{2}_{\alpha/2}}{4n^2}}) A,B=n+uα/22​n​(p^​+2nuα/22​​±uα/2​np^​(1−p^​)​+4n2uα/22​​

​)，其中 p ^ = Y n / n \hat{p}=Y_n/n p^​=Yn​/n。

分析： 得到的結果為近似的，故區間估計的置信系數也之時近似地等于 1 − α 1-\alpha 1−α。

置信界

單側置信區間，隻關心某一側的界限。特殊的置信區間，無非是一側變成 ∞ \infty ∞或 − ∞ -\infty −∞

定義：設 X 1 , … , X n X_1,\dots,X_n X1​,…,Xn​是從某一總體中抽出來的樣本，總體分布包含未知參數 θ \theta θ, θ ‾ = θ ‾ ( X 1 , … , X n ) \overline{\theta}=\overline{\theta}(X_1,\dots,X_n) θ=θ(X1​,…,Xn​)和 θ ‾ = θ ‾ ( X 1 , … , X n ) \underline{\theta}=\underline{\theta}(X_1,\dots,X_n) θ​=θ​(X1​,…,Xn​)都是統計量（它們與 θ \theta θ無關），則

1、 若對 θ \theta θ的一切可取的值，有 P 0 ( θ ‾ = θ ‾ ( X 1 , … , X n ) ≥ θ ) = 1 − α P_0(\overline{\theta}=\overline{\theta}(X_1,\dots,X_n)\geq\theta)=1-\alpha P0​(θ=θ(X1​,…,Xn​)≥θ)=1−α ,則稱 θ ‾ \overline \theta θ是 θ \theta θ的一個置信系數為 1 − α 1-\alpha 1−α的置信上界；

2、 若對 θ \theta θ的一切可取的值，有 P 0 ( θ ‾ = θ ‾ ( X 1 , … , X n ) ≤ θ ) = 1 − α P_0(\underline{\theta}=\underline{\theta}(X_1,\dots,X_n)\leq\theta)=1-\alpha P0​(θ​=θ​(X1​,…,Xn​)≤θ)=1−α,則稱 θ ‾ \underline\theta θ​是 θ \theta θ的一個置信系數為 1 − α 1-\alpha 1−α的置信下界。

貝葉斯法

在有了先驗分布密度 h ( θ ) h(\theta) h(θ)和樣本KaTeX parse error: Undefined control sequence: \X at position 11: X_1,\dots,\̲X̲_n後，算出後驗密度 h ( θ ∣ X 1 , … , X n ) h(\theta |X_1,\dots,X_n) h(θ∣X1​,…,Xn​). 再找兩個數 θ ^ 1 \hat {\theta}_1 θ^1​和 θ ^ 2 \hat {\theta}_2 θ^2​都與KaTeX parse error: Undefined control sequence: \X at position 11: X_1,\dots,\̲X̲_n使得 ∫ θ ^ 1 θ ^ 2 h ( θ ∣ X 1 , … , X n ) d θ = 1 − α \int_{\hat {\theta}_1}^{\hat {\theta}_2}{h(\theta|X_1,\dots,X_n)}d\theta=1-\alpha ∫θ^1​θ^2​​h(θ∣X1​,…,Xn​)dθ=1−α

那麼區間 [ θ ^ 1 , θ ^ 2 ] [\hat {\theta}_1,\hat {\theta}_2] [θ^1​,θ^2​]的意思是：在所得後驗分布下， θ \theta θ落在這個區間内的機率為 1 − α 1-\alpha 1−α.

假設檢驗

假設檢驗就是先對總體的某一參數做出假設，然後用樣本的統計量去進行驗證，以決定假設是否被總體所接受。

步驟：

1、 建立假設

原假設 H 0 H_{0} H0​和備擇假設 H 1 H_{1} H1​

2、 尋找檢驗估計量

檢驗統計量來判斷原假設的真僞

檢驗的臨界值 c c c，拒絕原假設的樣本觀測值所組成的區域稱為檢驗的拒絕域 W W W，保留原假設的樣本觀測值所組成的區域稱為檢驗的接受域 A A A。

3、 顯著性水準與臨界值

H 0 H_{0} H0​為真但被拒絕的機率稱為顯著性水準 α \alpha α ；由此計算 c c c值

4、 做判斷

兩類錯誤

第一類錯誤：原假設 H 0 H_{0} H0​為真，所下的判斷為拒絕 H 0 H_{0} H0​。犯第一類錯誤的機率為拒真機率，也就是顯著性水準 α \alpha α.

第二類錯誤：原假設 H 0 H_{0} H0​為假，所下的判斷為接受 H 0 H_{0} H0​。犯第二類錯誤的機率為取僞機率 β \beta β.

總是希望 α \alpha α和 β \beta β都很小，盡量是樣本容量增大。

檢驗

檢驗就是指判斷準則。

具體檢驗方法往後分析（往後章節）。