學習筆記DL006:特徵分解，奇異值分解

特徵分解。

整數分解質因素。

特徵分解(eigendecomposition)，使用最廣，矩陣分解一組特徵向量、特徵值。方陣𝑨的特徵向量(eigenvector)，與𝑨相乘至關對該向量縮放非零向量𝑣，𝑨𝑣=λ𝑣。標量λ爲特徵向量對應特徵值(eigenvalue)。左特徵向量(left eigenvector) 𝑣ᵀ𝑨=λ𝑣ᵀ，右特徵向量(right eigenvector)。𝑣是𝑨的特徵向量，任何縮放向量𝑠𝑣(𝑠∈ℝ，𝑠≠0)也是𝑨的特徵向量。𝑠𝑣和𝑣有相同特徵值。只考慮單位特徵向量。

矩陣𝑨有𝑛個線性無關特徵向量{𝑣⁽¹⁾,…,𝑣⁽ⁿ⁾}，對應特徵值{λ₁,…,λn}。特徵向量鏈接成一個矩陣，每一列是一個特徵向量，V=[𝑣⁽¹⁾,…,𝑣⁽ⁿ⁾]。特徵值鏈接成一個向量𝝺=[λ₁,…,λn]ᵀ。𝑨的特徵分解(eigendecomposition)，記𝑨=Vdiag(𝝺)V⁻¹。

構建具備特定特徵值和特徵向量矩陣，在目標方向上延伸空間。矩陣分解(decompose)成物徵值和特徵向量，分析矩陣特定性質。

每一個實對稱矩陣均可以分解成實特徵向量和實特徵值，𝑨=Q𝚲Qᵀ。Q是𝑨的特徵向量組成正交矩陣，𝚲是對角矩陣。特徵值𝚲i,i對應特徵向量是矩陣Q的第i列，記Q:,i。Q是正交矩陣，𝑨看做沿方向𝑣⁽i⁾延展λi倍空間。兩多或多個特徵向量擁有相同特徵值，特徵向量產生生成子空間，任意一組正交賂量都是該特徵值對應特徵向量。可等價地從特徵向量構成Q替代。按降序排列𝚲元素。特徵分解惟一當且僅當全部特徵值惟一。矩陣是奇異的當且僅當含有零特徵值。實對稱矩陣分解可用於優化二次方程f(x)=xᵀ𝑨x，限制||x||₂=1。x等於𝑨某個特徵向量，𝑓返回對應特徵值。限制條件下，函數𝑓最大值是最大特徵值，最小值是最小特徵值。

全部特徵值是正數的矩陣爲正定(positive definite)。全部特徵值是非負數矩陣爲半正定(positive semidefinite)。全部特徵值是負數矩陣爲負定(negative definite)。全部特徵值是非正數矩陣爲半負定(negative semidefinite)。半正定矩陣，保證∀x,xᵀ𝑨x>=0。正定矩陣保證xᵀ𝑨x=0 => x=0。

矩陣𝑨有兩個標準正交特徵向量，對應特徵值λ₁的𝑣⁽¹⁾對應特徵值爲λ₂的𝑣⁽²⁾。全部單位向量u∈ℝ²集合，構成一個單位圓。全部𝑨u點集合。𝑨拉伸單位圓方式，將𝑣⁽i⁾方向空間拉伸λi倍。

奇異值分解(singular value decomposition,SVD)。

矩陣分解爲奇異向量(singular vector)、奇異值(singular value)。奇異值分散應用更普遍。每一個實數矩陣都有一個奇異值分解。非方陣矩陣沒有特徵分解。奇異值分解，矩陣𝑨分解成三個矩陣乘積。𝑨=𝑈𝐷𝑉ᵀ。𝑨是mn矩陣，𝑈是mm矩陣，𝐷是mn矩陣，𝑉是nn矩陣。矩陣經定義後有特殊結構。矩陣𝑈和𝑉正交矩陣。𝐷對角矩陣，不必定是方陣。

對角矩陣D對角線上元素爲矩陣𝑨的奇異值(singular value)。矩陣𝑈的列向量爲左奇異向量(left singular vector)，矩陣𝑉的列向量爲右奇異向量(right singular vector)。

能夠用與𝑨相關特徵分解解釋𝑨的奇異值分解。𝑨的左奇異向量(left singular vector)是𝑨𝑨ᵀ的特徵向量。𝑨的右奇異向量(right singular vector)是𝑨ᵀ𝑨的特徵向量。𝑨的非零奇異值是𝑨ᵀ𝑨特徵值的平方根，也是𝑨𝑨ᵀ特徵值的平方根。

SVD最有用性質，拓展矩陣求逆到非方矩陣。

參考資料：

《深度學習》

歡迎推薦上海機器學習工做機會，個人微信：qingxingfengzi

我有一個微信羣，歡迎一塊兒學深度學習。