線性代數筆記15：SVD分解

本節在共轭轉置的基礎上介紹奇異值和奇異值分解。

譜分解

共轭轉置

矩陣 A A 的共轭轉置AHAH（又稱Hermite共轭、Hermite轉置）定義為：

AH=(A¯)T=AT¯ A H = ( A ¯ ) T = A T ¯

酉矩陣

設 U∈Cn×n U ∈ C n × n 階複方陣，若 UHU=I U H U = I ，則稱 U U 是酉矩陣。

Hermite矩陣

設A∈Cn×nA∈Cn×n，如果 AH=A A H = A ，那麼 A A 為Hermite矩陣；

如果AH=−AAH=−A，則 A A 為反Hermite矩陣。

Schur定理

任何一個nn階複矩陣都酉相似于一個上三角矩陣，則存在一個 n n 階酉矩陣UU和一個 n n 階上三角矩陣RR使得：

UHAU=R U H A U = R

其中 R R 的對角元是AA的特征值。

正規矩陣

設 A∈Cn×n A ∈ C n × n ，如果：

AAH=AHA A A H = A H A

則稱 A A 為正規矩陣。

可以證明，對角矩陣，Hermite矩陣，反Hermite矩陣，酉矩陣都是正規矩陣。

酉相似條件

nn階矩陣 A A 酉相似于一個對角矩陣的充分必要條件為AA是正規矩陣。

是以，若 A A 是nn階Hermite矩陣，則 A A 必酉相似與實對角矩陣，即存在nn階酉矩陣 U U 使得：

UHAU=ΛUHAU=Λ

因為 AH=A A H = A ，則 ΛH=Λ Λ H = Λ ，是以 Λ Λ 是實對角矩陣。

譜分解

Hermite的譜分解式

由上文可知，若 A A 為Hermite矩陣，則：

UHAU=ΛUHAU=Λ

奇異值分解

奇異值定義

設 A∈Cn×n A ∈ C n × n ，如果存在非負實數 σ σ 和非零向量 u∈Cn,v∈Cm u ∈ C n , v ∈ C m ，使得：

Au=σv,AHv=σu A u = σ v , A H v = σ u

則稱 σ σ 為 A A 的奇異值，uu和 v v 分别稱為AA對應于奇異值 σ σ 的右奇異向量和左奇異向量。

AHAu=σAHv=σ2u A H A u = σ A H v = σ 2 u

是以 σ2 σ 2 是 AHA A H A 的特征值，也是 AAH A A H 的特征值，而 u u 和vv分别是 AHA A H A 和 AAH A A H 對應于 σ2 σ 2 的特征向量。

引理

1. 設 A∈Cm×n A ∈ C m × n ，則

   rank(AHA)=rank(AAH)=rank(A) r a n k ( A H A ) = r a n k ( A A H ) = r a n k ( A )

2. 設 A∈Cm×n A ∈ C m × n ，則
   • AHA A H A 與 AAH A A H 的特征值均為非負實數
   • AHA A H A 與 AAH A A H 的非零特征值相同，并且非零特征值個數等于 rank(A) r a n k ( A )

定理

1. 設 A A 是正規矩陣，則AA的奇異值為 A A 的特征值的模。

2. 設AA是 m×n m × n 矩陣，且 rank(A)=r r a n k ( A ) = r ，則存在 m m 階酉矩陣UU和 n n 階酉矩陣VV使得：

   UHAV=(∑000) U H A V = ( ∑ 0 0 0 )

   ∑=diag(σ1,...,σr) ∑ = d i a g ( σ 1 , . . . , σ r ) ，且 σ1≥...≥σr>0 σ 1 ≥ . . . ≥ σ r > 0 為矩陣 A A 的奇異值

   這個式子就被稱為奇異值分解。

證明

易得AHAAHA為Hermite矩陣， AHA A H A 的特征值 λ2≥λ2≥...>0 λ 2 ≥ λ 2 ≥ . . . > 0

由Schur定理可得，存在 n n 階酉矩陣，使得：

UH(AHA)V=(∑2000)UH(AHA)V=(∑2000)

将 V V 分解為V=(V1,V2),V1=Cn×r,V2=Cn×(n−r)V=(V1,V2),V1=Cn×r,V2=Cn×(n−r)

重寫上式為：

AHA(V1,V2)=(V1,V2)(∑2000) A H A ( V 1 , V 2 ) = ( V 1 , V 2 ) ( ∑ 2 0 0 0 )

{AHAV1=V1∑2⇒VH1AHAV1=∑2⇒(AV1∑−1)H(AV1∑−1)=IAHAV2=0⇒VH2AHAV2=0⇒(AV2)H(AV2)=0 { A H A V 1 = V 1 ∑ 2 ⇒ V 1 H A H A V 1 = ∑ 2 ⇒ ( A V 1 ∑ − 1 ) H ( A V 1 ∑ − 1 ) = I A H A V 2 = 0 ⇒ V 2 H A H A V 2 = 0 ⇒ ( A V 2 ) H ( A V 2 ) = 0

是以， AV2=0,U1=AV1∑−1, A V 2 = 0 , U 1 = A V 1 ∑ − 1 , 則 U1 U 1 是酉矩陣： UH1U1=I U 1 H U 1 = I 。

是以 U1 U 1 的前 r r 列兩兩正交且為機關向量，将其擴充為CmCm的标準正交基， U2=(ur+1,...,um) U 2 = ( u r + 1 , . . . , u m )

則 U=(U1,U2) U = ( U 1 , U 2 ) 是 m m 階酉矩陣，UH1U1=I，UH2U1=0U1HU1=I，U2HU1=0

UH(AHA)V=UH(AV1,AV2)=(UH1UH2)(U1∑,0)=(∑2000) U H ( A H A ) V = U H ( A V 1 , A V 2 ) = ( U 1 H U 2 H ) ( U 1 ∑ , 0 ) = ( ∑ 2 0 0 0 )

是以：

A=U(∑2000)VH A = U ( ∑ 2 0 0 0 ) V H

V V 為AHAAHA的r個非零特征值對應的特征向量并機關化

U U 為AAHAAH的r個非零特征值對應的特征向量并機關化

思考

1. 對于正定對稱矩陣而言，奇異值分解和對角化相同
2. 特征值分解必須要求 A A 為方陣，而奇異值分解不需要
3. AHAAHA或 AAH A A H 的特征值為 A A 的奇異值的平方。

4. 我們可以根據對AHAAHA和 AAH A A H 求特征值和特征向量，進而得到 V V 、UU、 ∑ ∑ 。

   ​