隐馬爾可夫模型的定義：
HMM 是關于時序的機率模型，描述由一個隐藏的馬爾可夫鍊随機生成不可觀測的狀态随機序列，再由各個狀态生成一個觀測而産生觀測随機序列的過程。(p171)
隐藏的馬爾可夫鍊随機生成的狀态的序列，稱為狀态序列。
每個狀态生成一個觀測，而由此産生的觀測的随機序列，稱為觀測序列。
序列的每一個位置又可以看作是一個時刻 t。
隐馬爾可夫模型由初始機率分布( π \pi π)、狀态轉移機率分布(A)以及觀測機率分布(B)确定。
-
一個模型：HMM三要素：
A = [ a i j ] N ∗ N A=\left[ a_{ij} \right]_{N*N} A=[aij]N∗N，其中， a i j = P ( i t + 1 = q j ∣ i t = q i ) , i = 1 , 2 , . . . , N a_{ij}= P(i_{t+1}=q_j | i_t = q_i),i=1,2,...,N aij=P(it+1=qj∣it=qi),i=1,2,...,N
B = [ b j ( k ) ] N ∗ M B=\left[ b_j(k) \right]_{N*M} B=[bj(k)]N∗M，其中， b j ( k ) = P ( o t = v k ∣ i t = q j ) , k = 1 , 2 , . . . , M ; j = 1 , 2 , . . . , N b_j(k) = P(o_t = v_k | i_t = q_j),k=1,2,...,M;j=1,2,...,N bj(k)=P(ot=vk∣it=qj),k=1,2,...,M;j=1,2,...,N
π = ( π i ) \pi = (\pi_i) π=(πi)，其中， π i = P ( i 1 = q i ) , i = 1 , 2 , . . . , N \pi_i = P(i_1=q_i),i=1,2,...,N πi=P(i1=qi),i=1,2,...,N
-
HMM兩個基本假設
齊次馬爾可夫性假設，即t 時刻狀态隻依賴于t-1時刻,與其他狀态或觀測無關。
觀測獨立性假設，即任意時刻的觀測隻依賴于該時刻的狀态。
例子》 盒子和球
- HMM的3個基本問題
統計學習--HMM （1）evalution: 機率計算問題
直接計算法、前向算法、後向算法
（2）learning：學習問題
監督學習算法：根據觀測和狀态序列計算頻數，進而求得頻率，最終求得到A、B、 π \pi π
非監督學習算法：（Baum-Welch算法，即EM）目标也是學習HMM模型 λ = ( A , B , π ) \lambda=(A,B,\pi) λ=(A,B,π)的參數
（3）decoding：預測問題，也叫解碼問題。
近似算法：在每個時刻t 選擇該時刻最有可能出現的狀态 i t ∗ i_t^{*} it∗，進而得到一個狀态序列 I ∗ = ( i 1 ∗ , i 2 ∗ , … , i T ∗ ) I^{*} = (i_1^{*},i_2^{*},\dots,i_T^{*}) I∗=(i1∗,i2∗,…,iT∗)，将它作為預測的結果。
維特比算法：
動态規劃解隐馬爾可夫模型預測問題，即用動态規劃求機率最大路徑（最優路徑），這時一條路徑對應一個狀态序列。
初始化
遞歸：
終止：最大機率
回溯：上一個節點
總結————————————————
Dynamic Model
—HMM( mixture + time )
參考：
白闆推導
主要涉及5個算法：
Baum-Welch/ EM
Viterbi algorithm
Forward Algorithm
Backward Algorithm
Forward-Backward Algorithm