20211130 正定矩陣的幾個不等式

1

Let A ∈ R n × n A\in\mathbb{R}^{n\times n} A∈Rn×n be positive definite and B ∈ R n × n B\in\mathbb{R}^{n\times n} B∈Rn×n be symmetric. Then, for any x ∈ R n x \in \mathbb{R}^{n} x∈Rn, λ min ⁡ ( A − 1 B ) x ⊤ A x ≤ x ⊤ B x ≤ λ max ⁡ ( A − 1 B ) x ⊤ A x \lambda_{\min }\left(A^{-1} B\right) x^{\top} A x\leq x^{\top} B x \leq \lambda_{\max }\left(A^{-1} B\right) x^{\top} A x λmin​(A−1B)x⊤Ax≤x⊤Bx≤λmax​(A−1B)x⊤Ax

Proof:

Because A A A is positive definite, it is symmetric, which shows that there exists some orthogonal matrices P P P ( P ⊤ P = P P ⊤ = I P^{\top}P=PP^{\top}=I P⊤P=PP⊤=I) such that

A = P − 1 diag { λ i ( A ) } P = P − 1 diag { λ i ( A ) } P P − 1 diag { λ i ( A ) } P A=P^{-1}\text{diag}\{\lambda_i(A)\}P=P^{-1}\text{diag}\{\sqrt{\lambda_i(A)}\}PP^{-1}\text{diag}\{\sqrt{\lambda_i(A)}\}P A=P−1diag{λi​(A)}P=P−1diag{λi​(A)

​}PP−1diag{λi​(A)

​}P

Let M = P − 1 diag { λ i ( A ) } P M=P^{-1}\text{diag}\{\sqrt{\lambda_i(A)}\}P M=P−1diag{λi​(A)

​}P, we have

A = M M A=MM A=MM where M M M is positive definite.

Because M M M is positive definite (obviously, also symmetric), it is shown that M − 1 M^{-1} M−1 is positive definite (obviously, also symmetric), which, together with that B B B is symmetric, leads to M − 1 B M − 1 M^{-1}BM^{-1} M−1BM−1 is symmetric. Therefore, we have

M − 1 B M − 1 ≤ λ max ⁡ ( M − 1 B M − 1 ) I = λ max ⁡ ( M − 1 M − 1 B ) I = λ max ⁡ ( A − 1 B ) I M^{-1}BM^{-1}\leq \lambda_{\max}(M^{-1}BM^{-1})I=\lambda_{\max}(M^{-1}M^{-1}B)I=\lambda_{\max}(A^{-1}B)I M−1BM−1≤λmax​(M−1BM−1)I=λmax​(M−1M−1B)I=λmax​(A−1B)I leading to B ≤ λ max ⁡ ( A − 1 B ) M M = λ max ⁡ ( A − 1 B ) A B\leq \lambda_{\max}(A^{-1}B) MM=\lambda_{\max}(A^{-1}B)A B≤λmax​(A−1B)MM=λmax​(A−1B)A

Followng the same line, we have λ min ⁡ ( A − 1 B ) A ≤ B \lambda_{\min}(A^{-1}B)A \leq B λmin​(A−1B)A≤B

As a result, λ min ⁡ ( A − 1 B ) x ⊤ A x ≤ x ⊤ B x ≤ λ max ⁡ ( A − 1 B ) x ⊤ A x \lambda_{\min }\left(A^{-1} B\right) x^{\top} A x\leq x^{\top} B x \leq \lambda_{\max }\left(A^{-1} B\right) x^{\top} A x λmin​(A−1B)x⊤Ax≤x⊤Bx≤λmax​(A−1B)x⊤Ax holds.

2

令 A A A是 m × n m\times n m×n維實矩陣，則有 λ ( A ⊤ A ) ⩾ 0 \lambda (A^{\top}A) \geqslant 0 λ(A⊤A)⩾0

3

令 A 1 A_1 A1​和 A 2 A_2 A2​是 m × n m\times n m×n維實矩陣， A 3 A_3 A3​是 m × m m \times m m×m維的正定陣，則有 A 1 ⊤ A 2 + A 2 ⊤ A 1 ≤ A 1 ⊤ A 3 A 1 + A 2 ⊤ A 3 − 1 A 2 A_{1}^{\top} A_{2}+A_{2}^{\top} A_{1} \leq A_{1}^{\top} A_{3} A_{1}+ A_{2}^{\top} A_{3}^{-1} A_{2} A1⊤​A2​+A2⊤​A1​≤A1⊤​A3​A1​+A2⊤​A3−1​A2​

證明：

因為 A 3 A_3 A3​是 m × m m \times m m×m維的正定陣，存在正交陣 P P P使得

A 3 = P ⊤ Λ P A_3=P^{\top}\Lambda P A3​=P⊤ΛP，其中 Λ \Lambda Λ為對角陣，且為正實數，那麼存在 Λ = Λ ~ Λ ~ \Lambda=\tilde\Lambda\tilde\Lambda Λ=Λ~Λ~另外， ( Λ ~ P A 1 − Λ ~ − 1 P A 2 ) ⊤ ( Λ ~ P A 1 − Λ ~ − 1 P A 2 ) ≥ 0 (\tilde\Lambda P A_1-\tilde\Lambda^{-1}PA_2)^{\top}(\tilde\Lambda P A_1-\tilde\Lambda^{-1}PA_2)\geq0 (Λ~PA1​−Λ~−1PA2​)⊤(Λ~PA1​−Λ~−1PA2​)≥0展開後可得

A 1 ⊤ A 3 A 1 + A 2 ⊤ A 3 − 1 A 2 ≥ A 1 ⊤ A 2 + A 2 ⊤ A 1 A_{1}^{\top} A_{3} A_{1}+A_{2}^{\top} A_{3}^{-1} A_{2}\geq A_{1}^{\top} A_{2}+A_{2}^{\top} A_{1} A1⊤​A3​A1​+A2⊤​A3−1​A2​≥A1⊤​A2​+A2⊤​A1​

4

A A A 和 B B B 是正定矩陣， A B AB AB 的特征值均正；如果滿足如下三個等價條件中的一個：① A B AB AB 是對稱的；② B A BA BA是對稱的；③ A B = B A AB=BA AB=BA，那麼 A B AB AB 是正定矩陣。

證明：

A A A 和 B B B 是正定矩陣，是以存在正定矩陣 P P P 和 Q Q Q ，使得 A = P ⊤ P B = Q ⊤ Q A = P^{\top}P\quad\quad B=Q^{\top}Q A=P⊤PB=Q⊤Q，同時有 P P P 和 Q Q Q的逆存在，那麼 Q ( A B ) Q − 1 = Q P ⊤ P Q ⊤ = ( P Q ⊤ ) ⊤ P Q ⊤ Q(AB)Q^{-1} = QP^{\top}PQ^{\top}=(PQ^{\top})^{\top}PQ^{\top} Q(AB)Q−1=QP⊤PQ⊤=(PQ⊤)⊤PQ⊤因為 P Q ⊤ x = 0 PQ^{\top}x=0 PQ⊤x=0隻有一個零解，是以 ( P Q ⊤ ) ⊤ P Q ⊤ (PQ^{\top})^{\top}PQ^{\top} (PQ⊤)⊤PQ⊤ 是正定矩陣，相似于 A B AB AB，是以 A B AB AB 的特征值均正。很明顯，如果 A B AB AB 為對稱陣 ，那麼 A B AB AB 是正定矩陣。

接下來考慮三個條件的等價：

①➡②： 如果 A B AB AB 為對稱陣 ，又因為 A A A 和 B B B 是正定矩陣，那麼 A T B T = A B = B T A T = B A A^TB^T=AB=B^TA^T=BA ATBT=AB=BTAT=BA；

②➡③： 如果 B A BA BA 為對稱陣 ，又因為 A A A 和 B B B 是正定矩陣，那麼 B A = A T B T = A B BA=A^TB^T=AB BA=ATBT=AB；

③ ➡①：如果 A B = B A AB=BA AB=BA，又因為 A A A 和 B B B 是正定矩陣，是以可知 B A = B T A T = ( A B ) T = A B BA=B^{T}A^{T}=(AB)^T=AB BA=BTAT=(AB)T=AB，說明 A B AB AB 是對稱的。

5

給定任意 x ∈ R n x\in\mathbb{R}^n x∈Rn 和 σ > 0 \sigma>0 σ>0 ，那麼 σ I + x x T \sigma I+ x x^T σI+xxT 是正定的，其逆是 1 σ ( I − x x T σ + x T x ) \frac{1}{\sigma}(I-\frac{xx^T}{\sigma+x^Tx}) σ1​(I−σ+xTxxxT​)。

證明：

1 σ ( σ I + x x T ) ( I − x x T σ + x T x ) = I \frac{1}{\sigma}(\sigma I+ x x^T)(I-\frac{xx^T}{\sigma+x^Tx})=I σ1​(σI+xxT)(I−σ+xTxxxT​)=I

6

對稱矩陣的譜半徑等于其譜範數。

證明：

譜半徑是 max ⁡ i ∣ λ ( A ) ∣ \max_i{|\lambda(A)|} maxi​∣λ(A)∣，譜範數是 max ⁡ i A T A \sqrt{\max_i A^TA} maxi​ATA

​。

假設 A A A 是對稱陣，那麼存在正交陣 P P P 使得 A = P T X P A=P^T XP A=PTXP，X是以 A A A的特征值為對角線的對角矩陣。 A T A = P T X X P A^TA=P^T XXP ATA=PTXXP ，那麼 A T A A^TA ATA 的最大特征值就是 A A A 的最大特征值的平方。