機率密度随筆

分布函數與機率密度

在學習機率論與數理統計的時候，我始終沒有搞明白分布函數和機率密度的意義。在這裡趁着畢設的時候，做一次複習。

機率密度表示了随機變量的一個分布趨勢，而分布函數表示機率密度的一個變上限積分。在下圖中， f ( x ) f(x) f(x)就表示了一個機率密度函數，我們能從圖中很明顯看出原點兩側有兩個峰值分布。設分布函數是 F ( x ) F(x) F(x)，那麼兩者的關系是：

F ( x ) = ∫ − ∞ x f ( x ) d x + C F(x) = \int_{-\infty}^{x}f(x)dx + C F(x)=∫−∞x​f(x)dx+C

而且有 F ( + ∞ ) = 1 F(+\infty)=1 F(+∞)=1這個性質。

同樣的，對于二維随機變量有：

F ( x , y ) = ∫ − ∞ + ∞ ∫ − ∞ + ∞ f ( x , y ) d x d y + C F(x,y) = \int_{-\infty}^{+\infty}\int_{-\infty}^{+\infty}f(x,y)dxdy+C F(x,y)=∫−∞+∞​∫−∞+∞​f(x,y)dxdy+C

其中 F ( + ∞ , + ∞ ) = 1 F(+\infty,+\infty)=1 F(+∞,+∞)=1

如上圖右側所示，如果想要求解連續性變量在某個區間内機率，隻需要利用機率密度在區間内積分即可。

為什麼使用機率密度

在一維的情況下，可能我們認為有了分布函數，好像機率除了能象征性的表示一下分布的特征之外沒有其他的用處。可是如果推廣到高維，情況就不一樣了。有很多情況下，隻有分布函數是無法計算機率的。很簡單，在二維随機變量分布中，二維随機變量與XOY平面圍成的體積是1，即整個的機率分布。如果我們要計算一個環形區域的積分，那麼這個區域是無法通過分布函數進行計算的，隻能通過機率密度對這個區域進行積分才可以。随意某種意義上講，機率密度更常用。

邊緣機率密度

邊緣機率密度表示我們隻關心其中的一個自變量的變化範圍，忽略另一個的影響。

F X ( x ) = F ( x , + ∞ ) = ∫ − ∞ x ∫ − ∞ + ∞ f ( x , y ) d y d x + C F_X(x) = F(x,+\infty) = \int_{-\infty}^{x}\int_{-\infty}^{+\infty}f(x,y)dydx+C FX​(x)=F(x,+∞)=∫−∞x​∫−∞+∞​f(x,y)dydx+C

那麼對于機率密度來說：

f X ( x ) = ∫ − ∞ + ∞ f ( x , y ) d y f_X(x)=\int_{-\infty}^{+\infty}f(x,y)dy fX​(x)=∫−∞+∞​f(x,y)dy

對于 y y y的隻需與 x x x交換位置即可。

如果 X X X與 Y Y Y互相獨立，那麼有

f ( x , y ) = f X ( x ) f Y ( y ) f(x,y)=f_X(x)f_Y(y) f(x,y)=fX​(x)fY​(y)

條件機率密度

這一點類比之前的條件機率

f X ∣ Y ( x ∣ y ) = f ( x , y ) f Y ( y ) f_{X|Y}(x|y)=\frac{f(x,y)}{f_Y(y)} fX∣Y​(x∣y)=fY​(y)f(x,y)​