奇異值分解與低秩矩陣近似

奇異值分解

  任何實矩陣\(\textbf{A} \in \mathbb{R}^{m \times n}\)均可以分解爲

$\textbf{A} = \textbf{U}\Sigma\textbf{V}^T$, (1)

其中, \(\textbf{U} \in \mathbb{R}^{m \times m}\)和\(\textbf{V} \in \mathbb{R}^{n \times n}\)分別爲知足\(\textbf{U}^T\textbf{U} = \textbf{I}\)以及\(\textbf{V}^T\textbf{V} = \textbf{I}\)的m階與n階酉矩陣. 其中\((\Sigma)_{ii} = \sigma_i\)且其它位置的元素均爲0, \(\sigma_i\)爲非負實數且知足\(\sigma_1 \geqslant \sigma_2 \geqslant ... \geqslant 0\).

  式(1)爲奇異值分解(SVD), 其中\(\textbf{U}\)的列向量\(\textbf{u}_i \in \mathbb{R}^m\)稱爲\(\textbf{A}\)的左奇異向量, \(\textbf{V}\)的列向量\(\textbf{v}_i \in \mathbb{R}^n\)稱爲\(\textbf{A}\)的右奇異向量, \(\sigma^i\)稱爲奇異值. 矩陣的秩就等於非零奇異值的個數。

低秩矩陣近似

  給定一個秩爲\(r\)的矩陣\(\textbf{A}\), 欲求其最優\(k\)秩近似矩陣\(\widetilde{\textbf{A}}, k \leqslant{r}\), 該問題可形式化爲

$\min \limits_{\widetilde{A} \in \mathbb{R}^{m \times n}}\| \textbf{A} - \widetilde{\textbf{A}}\|_F$, (2)  $s.t. \ rank(\widetilde{\textbf{A}}) = k .$

  對矩陣\(\textbf{A}\)進行奇異值分解後，將矩陣\(\Sigma\)中的 \(r\ - \ k\) 個最小的奇異值置零得到矩陣\(\Sigma_k\), 僅保留最大的\(k\)個奇異值, 則

\(\textbf{A}_k = \textbf{U}_k\Sigma_k\textbf{V}^T_k\), (3)
就是(2)的最優解，其中 \(\textbf{U}_k\)和 \(\textbf{V}_k\)分別是式(1)中前k列組成的矩陣. （Eckart-Young-Mirsky定理）

  
  
  
reference:
  《機器學習》 by 周志華