琴生不等式（Jensen Inequality）

目錄

不同表述形式

有限形式

測度與機率形式

在機率論中的廣義形式

不等式證明

有限形式

測度和機率形式

機率論中的廣義形式

不等式應用

在機率密度函數中的形式

随機變量的偶次矩

其他有限形式

統計實體

資訊論

Rao–Blackwell定理

在數學中，琴生不等式（Jensen Inequality）以丹麥數學家 Johan Jensen 的名字命名，又稱詹森不等式。它将積分的凸函數的值與凸函數的積分聯系起來，Jensen在 1906 年證明了這一點。

鑒于其普遍性，不等式根據上下文以多種形式出現，最簡單的不等式表示均值的凸變換小于或等于凸變換後的均值。而凹變換的情況正好相反。

Jensen不等式概括了凸函數的割線位于函數圖上方的陳述，這是Jensen對兩點的不等式：割線由凸函數的權重均值組成（對于 t∈[0,1]）：

函數的圖形是權重均值的凸函數:

是以，Jensen 不等式是 :

在機率論的語境中，一般用以下形式表述：如果 X 是随機變量且 φ 是凸函數，則：

不等式兩邊的差

，稱為 Jensen 間隙（Jensen gap）。

不同表述形式

Jensen 不等式的經典形式涉及多個數字和權重。 不等式可以用測度論的語言或（等價的）機率來表述。 在機率定義中，不等式可以進一步推廣到其全部強度（full strength）。

有限形式

對于一個實凸函數

，定義域中的數字

，和正權重

，Jensen不等式可以表示為：

如果

為凹函數，則：

當且僅當

時等号成立，或者

為線性函數。

作為特殊情況，當正權重

都相等時，上述等式可以表示為：

琴生不等式可以用作證明一般情況的平均不等式：

其中前面兩個取

，後面一個取

。

一個常見的應用是将 x 作為另一個變量（或一組變量）t的函數

。 所有這些都直接适用于一般連續情況：權重

被非負可積函數f(x)代替，例如機率分布，并且總和被積分代替。

測度與機率形式

令

是一個機率空間，

。如果g是一個實數函數，且對于

可積，另外如果

是一個在實線域上是凸函數，則：

在實分析中，我們可能需要對下式做一個估計：

其中

，

是非負勒貝格積分函數。在這種情況下，勒貝格測度[a,b]不用是統一的。但是，通過作代換積分，可以重新調整區間以使其具有度量機關，那麼可以應用Jensen不等式得到：

通過簡單的符号變化，可以在機率論中等效地陳述相同的結果。 令

為機率空間，X為可積實值随機變量，φ為凸函數。 則：

在這個機率定義中，測度μ的目的是作為機率P，關于μ作為期望值的積分，以及作為随機變量X的函數g。

注意等式成立當且僅當 φ 是某個凸集A上的線性函數，使得

。

在機率論中的廣義形式

更一般地，設T為實拓撲向量空間，X為T值可積随機變量。在這個一般設定中，可積意味着在T中存在一個元素E[X]，使得對于T的對偶空間（dual space）中的任何元素 z：

，

。然後，對于任何可測凸函數 φ 和F的任何子 σ-代數

：

這裡

代表以 σ-代數

為條件的期望。當拓撲向量空間T是實軸，并且

是平凡的σ-代數 {∅, Ω}（其中∅是空集，Ω是樣本空間），這個一般性陳述簡化為以前的陳述。

一種銳化和概括的形式

設X是一維随機變量，均值為

，方差為

。令

為二次可微函數，并定義函數:

然後：

特别地，當

是凸的，那麼

。對于

被另外假設為二次可微的情況，自然而然能夠得出标準的Jensen 不等式的形式。

不等式證明

Jensen 不等式可以通過多種方式證明，并且将提供對應于上述不同陳述的三種不同證明。

然而，在開始這些數學推導之前，有必要分析基于機率情況的直覺圖形論證，其中X是實數（見上圖）。假設X值的分布，人們可以立即确定E[X]及其圖像φ(E[X])在圖中的位置。注意到對于凸映射Y = φ(X)，随着X值的增加，Y值的相應分布越來越“伸展”，很容易看出Y的分布在對應于

的區間中更寬，并且對于任何

，在

處更窄；特别是，對于

也是如此。是以，在這張圖檔中，Y的期望總是相對于

的位置向上移動。如果X的分布覆寫了凸函數的遞減部分，或者同時覆寫了凸函數的遞減部分和遞增部分，則類似的推理成立。這“證明”了不等式：

等式成立僅當 φ(X) 不是嚴格凸的時，例如當它是一條直線時，或者當 X 遵循退化分布（即是一個常數）時。

有限形式

測度和機率形式

機率論中的廣義形式

不等式應用

在機率密度函數中的形式

假設

是實線的可測子集，f(x)是一個非負函數：

在機率論中f(x)是機率密度函數。利用Jensen不等式的權重形式，可以寫出f(x)形式下的公式。

如果g是任何實值可測函數且

在g的範圍内是凸的，那麼：

如果g(x)=x，那麼這種不等式的形式可以簡化為一個常用的特例：

這個結果一般被應用于變分貝葉斯方法（Variational Bayesian methods）。

随機變量的偶次矩

如果

，X是一個随機變量，g是一個凸函數：

二階導數大于0，為凸函數，于是有：

特别的，如果X的偶次矩是有限的，X具有有限的均值。這個結論可以推廣為：X的

次矩是有限的。

其他有限形式

令

，取

為其上的測度，則一般的形式可以化簡為求和的形式：

前提是：

這裡也有無限的離散形式。

統計實體

在統計實體中考慮一個指數型的凸函數：

其中期望值為某個分布下的随機變量X的值。

上述公式證明比較簡單，首先：

然後利用已有公式

：

代入前式得：

資訊論

如果p(x)是X的機率密度，q(x)是另一個機率密度，對随機變量Y(X)=q(X)/p(X)應用琴生不等式，則

因而：

這個結果被稱為吉布斯不等式（Gibbs' inequality）

它表明當基于真實機率p而不是任何其他分布q配置設定代碼時，平均消息長度最小。非負的數量稱為q與p的Kullback-Leibler散度。由于-log(x)是x>0的嚴格凸函數，是以當p(x)幾乎處處等于q(x)時，等式成立。

Rao–Blackwell定理