繪制信源熵函數曲線.doc
鄭州輕工業學院大學生實驗報告
實驗名稱繪制信源熵函數曲線課程名稱資訊論與編碼姓 名**指導教師***專業、班級***學 号5*********實驗時間******實驗地點121實
驗
目
的掌握離散信源熵的原理和計算方法。
熟悉matlab軟體的基本操作，練習應用matlab軟體進行信源熵函數曲線的繪制。
了解信源熵的實體意義，并能從信源熵函數曲線圖上進行解釋其實體意義。
實
驗
條
件離散信源相關的基本概念、原理和計算公式
産生離散資訊的信源稱為離散信源。離散信源隻能産生有限種符号。
假定X是一個離散随機變量，即它的取值範圍R={x1，x，x，…
機關為 比特/符号 或 比特/符号序列。
平均不确定度H(X)的定義公式與熱力學中熵的表示形式相同，是以又把平均不确定度H(X)稱為信源X的信源熵。
必須注意一下幾點：
某一信源，不管它是否輸出符号，隻有這些符号具有某些機率特性，必有信源的熵值；這熵值是在總體平均上才有意義，因而是個确定值，一般寫成H(X)，X是指随機變量的整體(包括機率分布)。
資訊量則隻有當信源輸出符号而被接收者收到後，才有意義，這就是給與資訊者的資訊度量，這值本身也可以是随機量，也可以與接收者的情況有關。
熵是在平均意義上來表征信源的總體特征的，信源熵是表征信源的平均不确定度，平均自資訊量是消除信源不确定度時所需要的資訊的量度，即收到一個信源符号，全部解除了這個符号的不确定度。或者說獲得這麼大的資訊量後，信源不确定度就被消除了。信源熵和平均自資訊量兩者在數值上相等，但含義不同。
當某一符号xi的機率p(xi)為零時，p(xi)log p(xi) 在熵公式中無意義，為此規定這時的 p(xi)log p(xi) 也為零。當信源X中隻含有一個符号x時，必有p(x)=1，此時信源熵H(X)為零。
例1-1，設信源符号集X={0，1}，每個符号發生的機率分别為p(0)=p，p(1)=q，p+ q=1，即信源的機率空間為
則該二進制信源的信源熵為：
H(X) = - p log p – q log q = - p log p – (1- p) log (1- p)
即：H (p) = - p log p – (1- p) log (1- p)
其中0 ≤ p ≤1
P=0時，H(0) = 0
P=1時，H(1) = 0
MATLAB二維繪圖
例對函數y= f(x)進行繪圖，則用matlab中的指令plot(x, y)就可以自動繪制出二維圖來。如果打開過圖形視窗，則在最近打開的圖形視窗上繪制此圖；如果未打開圖形視窗，則開一個新的圖形視窗繪圖。
例1-2，在matlab上繪制餘弦曲線圖，y = cos x，其中0 ≤ x ≤ 2(。
>>x=0:0.1:2*pi； %生成橫坐标向量，使其為0，0.1，0.2，…，6.2
>>y=cos(x)； %計算餘弦向量
>>plot(x,y) %繪制圖形
實
驗
内
容
與
步
驟用matlab軟體繪制二源信源熵函數曲線。根據曲線說明信源熵的實體意義。
實
驗
結
果
及
分
析
Maltab代碼：
p=0.0000001:0.0001:1;
h=-p.*log2(p)-(1-p).*log2(1-p);
plot(p,h)
hold on;
stem(0.5,1,'--.');
xlabel('p');
ylabel('h(p)');
title('物聯網工程')
結果圖像：
實驗日期： 年 月 日
評分：
指導教師簽字：
5