資訊論與編碼（二）| 自資訊與資訊熵

自資訊

資訊量

如何考察或計算信源輸出的消息(或者符号)的資訊量?

• 信源的資訊實質:不确定性（信源輸出的是消息，消息的内涵是資訊。信源輸出一個符号，我們認為發生一個事件）。
• 數學上我們用機率（或機率密度）來表征事件不确定性的大小。

1.資訊量的大小與不确定性的消除多少有關;

收到某消息獲得的資訊量=不确定性的減少量=(收到該消息前關于某事件發生的不确定性)-(收到此消息後關于某事件發生的不确定性)

2.信道無噪聲，收到某消息獲得的資訊量=收到該消息前關于某事件發生的不确定性=信源輸出的某消息中所含的資訊量。

3.機率小→不确定性大;機率大→不确定性小。

是以，某事件發生所含的資訊量應該是該事件發生的先驗機率的函數。

自資訊定義

事件集合 中的事件 的自資訊定義為 或記為:

注意 1 : 要求 I(x) 非負. 是以對數的底數必須大于 1 .

• 底數為 2 , 機關為比特 (bit) ;
• 底數為 \mathrm{e} , 機關為奈特 (Nat)；
• 底數為 10 , 機關為笛特(Det)。

1 bit =0.693 Nat =0.301 Det

注意2: I(x) 是随機變量.

自資訊的含義:

• 在事件發生前, 自資訊表示事件發生的不确定性。
• 在事件發生後, 自資訊表示事件所包含的資訊量, 是提供給信宿的資訊量, 也是解除這種不确定性所需要的資訊量

聯合自資訊

聯合事件集合 中的事件 的自資訊定義為

其中, p(x y) 要滿足非負和歸一化的條件。

條件自資訊

事件 在事件 給定條件下的自資訊定義為

-條件自資訊的含義

-在事件 給定條件下, 在 發生前的不 确定性;

-在事件 給定條件下, 在 發生後所得到的資訊量。

Example 3有8×8=64個方格，甲将一棋子放入方格中，讓乙猜。

1、将方格順序編号，讓乙猜順序号的難度程度如何?

2、将方格按行和列編号，當甲告訴乙方格的行号後，讓乙猜列順序号的難度如何?

-解：兩種情況的不确定性:

資訊熵

信源符号自資訊的數學期望為信源的平均資訊量一資訊熵

注意: \mathbf{H}(\mathbf{X}) 是一個數, 不是随機變量.

Example 3 請計算下述離散無記憶二進制信源的資訊熵。

Solution

資訊熵的實體含義

1.資訊熵H(X)表示信源輸出後，每個消息（符号）所提供的平均資訊量;

2.資訊熵H(X)表示信源輸出前，信源的平均不确定性;

3.用資訊熵H(X)來表征變量X的随機性。

注:資訊熵不等于平均獲得的資訊量。一般情況下獲得的資訊量是兩熵之差，而不是資訊熵本身。

Example4:

甲地天氣預報，

乙地天氣預報

求：兩地天氣預報各自提供的平均資訊量

解:

• 甲地提供的平均資訊量大于乙地。

甲、乙地天氣預報為兩極端情況:

• 信源是确定信源, 是以不存在不确定性, 資訊熵等于零。

甲、乙地天氣預報為兩極端情況:

• 這種情況下,信源的不确定性最大,資訊熵最大。
• 甲地比乙地提供更多的資訊量。因為甲地可能出現的消息數多于可能出現的消息數, 不确定性更大。

結論: 信源熵大于等于0（若信源輸出為确定符号)而小于等于log(N)（信源輸出的不确定性最大)。

0≤H(X)≤ log(N)

其中N為信源字元集元素的個數