本文盡量使用初等方法. (如果承認奇異值分解, 再做矩陣的投影分析, 就不需要如此的繁復了.)

引理1 線性代數基本定理

形式化表述

• 有限維向量空間 V 和 W
• 線性映射 F : V → W
• 像 im(F) = {F(v) | v∈V} ? W
• 核 ker(F) = {v∈V | F(v)=0} ? V
• dim[im(F)] + dim[ker(F)] = dim[V]

證明

假設 dim[ker(F)]=s, 則 ker(F) 有一組基 {α1, …, αs}.

將上述基擴展至 V 的基 {α1, …, αs, β1, …, βt}.

s + t = dim[V], 即, ?v∈V, ?(a1, …, as, b1, …, bt), v = a1α1 + … + asαs + b1β1 + … + btβt.

v = a1α1 + … + asαs + b1β1 + … + btβt 張成空間 V, 則 F(v) = b1F(β1) + … + btF(βt) 張成空間 im(F).

由 {α1, …, αs, β1, …, βt} 線性無關, 知 {F(β1), …, F(βt)} 線性無關.

{F(β1), …, F(βt)} 是 im(F) 的一組基, 即 dim[ker(F)]=t.

注 (第 5 步的具體證明)

• 如果 (b1, …, bt) ≠ (c1, …, ct), 但是 b1F(β1) + … + btF(βt) = c1F(β1) + … + ctF(βt)
• 那么 F( (b1-c1)β1 + … + (bt-ct)βt ) = 0
• 進而 (b1-c1)β1 + … + (bt-ct)βt = d1α1 + … + dsαs
• 由 {α1, …, αs, β1, …, βt} 線性無關 知 (b1-c1) = … = (bt-ct) = d1 = … = ds = 0

對于矩陣 X ∈ ?^m×n, X : ?ⁿ → ?^m, X(v) = X·v, 認為 X^T : ?^m → ?ⁿ, X^T(v) = X^T·w = (w^T·X)^T.
像 im(X) = {X·v | v∈?ⁿ} ? ?^m, 核 ker(X) = {v∈?ⁿ | X·v=0} ? ?ⁿ.
像 im(X^T) = {X^T·w | w∈?^m} ? ?ⁿ, 核 ker(X^T) = {w∈?^m | X^T·w=0} ? ?^m.
列秩 col_rank[X] = dim[im(X)] = n - dim[ker(X)].
行秩 row_rank[X] = dim[im(X^T)] = m - dim[ker(X^T)].

引理2.1 初等變換不改變矩陣的行秩和列秩. (初等變換矩陣, 行初等變換?左側乘初等變換矩陣, 列初等變換?右側乘初等變換矩陣)
引理2.2 通過初等變換可以實現高斯(若爾當)消元.

證明2.1(行初等變換)

• 一行乘以非零常數, 不改變行秩, 不改變列秩.
• 兩行相互調換位置, 不改變行秩, 不改變列秩.
• 一行加上另一行的常數倍, 不改變行秩, 不改變列秩.

證明2.1(列初等變換)

• 一列乘以非零常數, 不改變列秩, 不改變行秩.
• 兩列相互調換位置, 不改變列秩, 不改變行秩.
• 一列加上另一列的常數倍, 不改變列秩, 不改變行秩.

注
上述初等命題證明不能用到高等數學工具, 非常繁瑣, 僅給出以下框架.

• 證明 X 變換成 X’ 后不改變秩, 即證明 rank(X) = rank(X’), 即證明 rank(X) ? rank(X’) 且 rank(X) ? rank(X’).
• 證明 rank(X) ? rank(X’) 即證明 “若{x1,…,xk}線性無關, 則{x’1,…,x’k}線性無關”, 即證明 “若‘λ1x1+…+λkxk=0 當且僅當 λ1=…=λk=0’, 則‘λ1x’1+…+λkx’k=0 當且僅當 λ1=…=λk=0’”.

證明2.2

• 首先, 僅通過行初等變化轉化成行階梯矩陣; 然后, 僅通過列初等變換轉化成列階梯矩陣; 最終, 每列/每行至多有一個元素不為零.

奇異值分解天然的能夠證明線性代數基本定理, 核心思想與初等變換一樣, 是左乘非奇異方形矩陣右乘非奇異方形矩陣得到對角矩陣, (實際上, 階梯矩陣再做初等變換就能得到對角矩陣).

以下假設$X,Z\in {\mathbb{R}}^{m\times n},Y\in {\mathbb{R}}^{n\times l}$.

命題 a$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X^T)$
邏輯關系: a ? a’ (a 與 a’ 等價)

• 命題 a’$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)$
  由引理2, 任意矩陣, 經過高斯(若爾當)消元, 最終, 每列/每行至多有一個元素不為零. 由于初等變換不改變矩陣的行秩和列秩, 所以矩陣的行秩與列秩相等, 等于最終不為零元素的個數.

命題 b$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)?\min \{m,n\}$
邏輯關系: b = b.1 ∨ b.2 (b 是 b.1 或者 b.2)

• 情形 b.1$\min \{m,n\}=n$
  $\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=n?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?n$
• 情形 b.2$\min \{m,n\}=m$
  $\mathrm{i}\mathrm{m}(X)=\{X?v\mid v\in {\mathbb{R}}^n\}?{\mathbb{R}}^m$
  $\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{i}\mathrm{m}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[{\mathbb{R}}^m]=m$

命題 c$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X+Z)?\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)+\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Z)$
邏輯關系: c ? c.1 ? c.2 ? c.3 (c.3 平凡)

• 命題 c.1$\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X+Z)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]+\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(Z)]$
• 命題 c.2$\mathrm{k}\mathrm{e}\mathrm{r}(X+Z)?\mathrm{k}\mathrm{e}\mathrm{r}(X)+\mathrm{k}\mathrm{e}\mathrm{r}(Z)$
• 命題 c.3$?v\in {\mathbb{R}}^n,X?v=0\wedge Z?v=0\to (X+Z)?v=0$

命題 d$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X?Y)?\min \{\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X),\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Y)\}$
邏輯關系: d = d.1 ∧ d.2

• 命題 d.1$X?Y$的每個列向量是$X$的所有列向量的線性組合, 所以$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X?Y)?\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)$.
  $X?Y=X?[y_1,\dots ,y_l]=[X?y_1,\dots ,X?y_l]$
• 命題 d.1’ 由 命題a, 命題 d.1 等價于, $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X?Y)?\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)$
• 命題 d.2$X?Y$的每個行向量是$Y$的所有行向量的線性組合, 所以$\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X?Y)?\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Y)$.
  $X?Y=[x^1;\dots ;x^m]?Y=[x^{1}Y;\dots ;x^{m}Y]$
• 命題 d.2’ 由 命題a, 命題 d.2 等價于, $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X?Y)?\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(Y)$

命題 e$\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X^{T}X)=\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X{X}^T)$
邏輯關系: e ? e’ (e 與 e’ 等價)

• 命題 e’$\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X{X}^T)]$
• 由 命題d 及 命題a,
  $\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)?\mathrm{c}\mathrm{o}\mathrm{l}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X^{T}X)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]$
  $\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)?\mathrm{r}\mathrm{o}\mathrm{w}\_\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X{X}^T)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^T)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}((X{X}^T{)}^T)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}((X{X}^T)]$
  或者, 直接的,
  $\left(Xv=0?X^{T}Xv=0\right)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]$
  $\left(X^{T}w=0?X{X}^{T}w=0\right)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^T)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X{X}^T)]$
• $\left(X^{T}Xv=0?v^{?}{X}^{T}Xv=0?\Vert Xv{\Vert }_2^2=0?Xv=0\right)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]$
  $\left(X{X}^{T}w=0?w^{?}X{X}^{T}w=0?\Vert X^{T}w{\Vert }_2^2=0?X^{T}w=0\right)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^T)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X{X}^T)]$
• 綜上所述,
  $\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]$
  $\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^T)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X{X}^T)]$
  再由 命題a,
  $\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^{T}X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X^T)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X{X}^T)]$

問題 f.1$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x{x}^T)$

• $\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x{x}^T)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x)$
  • $x=0,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x{x}^T)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x)=0$
  • $x=0,\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x{x}^T)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(x)=1$

問題 f.2 若$X\in {\mathbb{R}}^{n\times n},X=X^T$, 則$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=$非零奇異值個數.

• 由于$X$是是對稱矩陣, 所以存在矩陣$Q$, 滿足$X=Q\Lambda Q^T$, 其中$Q^{T}Q=I,\Lambda =\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}\left([{\lambda }_i]\right)$.
• 證明過程類似 命題e 的證明過程. 注意到$Q=Q^{?T}$是滿秩方形矩陣,
  • $(Xv=0?\Lambda (Q^{T}v)=Q^{?1}0=0?\Lambda \hat{v}=0)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(\Lambda )]$
  • $(\Lambda v=0?Q\Lambda Q^T(Q^{?T}v)=0?X\hat{v}=0)?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]?\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(\Lambda )]$
  • $\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(X)]=\mathrm{d}\mathrm{i}\mathrm{m}[\mathrm{k}\mathrm{e}\mathrm{r}(\Lambda )]$, 即$\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(X)=\mathrm{r}\mathrm{a}\mathrm{n}\mathrm{k}(\Lambda )=$非零奇異值個數.

注

• 所有方形矩陣可以特征值分解.
  由代數基本定理, $\det \left(X?\lambda I\right)$總有$n$個復根, 因此總有特征向量組成的$[v_1{v}_2?v_n]=V$和特征值組成的$\mathrm{d}\mathrm{i}\mathrm{a}\mathrm{g}[{\lambda }_1{\lambda }_2?{\lambda }_n]=\Lambda$滿足$XV=V\Lambda$.
• 不是所有方形矩陣都相似于對角矩陣.
  只有可對角化矩陣(若爾當標準型是對角矩陣)才有$X=V\Lambda V^{?1}$, 其中$\Lambda$恰是特征值組成的對角矩陣.
• 不是所有方形矩陣的特征向量都相互正交.
  只有規正矩陣($X{X}^H=X^{H}X$)才有$X=Q\Lambda Q^H$, 其中$\Lambda$恰是特征值組成的對角矩陣.
  但是, 所有方形矩陣不同特征值的特征向量線性無關.

總結

以上是生活随笔為你收集整理的矩阵 秩 相关证明的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。