熵：信息的度量

熵表明了随机变量X中事件发生的平均不确定性，即为了在观测或者实验之前确定X中发生一个时间平均所需要的信息；或者在观测之后，确定X中每发生一个时间平均给出的信息量。

形式化定义：H(X) = -Σxp(x) logap(x)， 当a=2时，熵的单位即比特；当所有概率均相等时，熵值达到最大。

信息的可度量性是建立信息论的基础。信息的度量方法有结构度量、统计度量、模糊度量等等，其中最常用的是统计度量，即用随机事件发生的概率的对数来描述事物的不确定性，并推导出种种自信息量。

如果信息量用编码长度标识，熵即为编码长度的期望形式。