特徵值的絕對值表明了拉伸或壓縮一個特徵向量的程度,即|T.x|/|x|=|t|.|x|/|x|=|t|。也說明了線性變換隻有在特徵空間處才能取得拉伸或者壓縮程度的極值。目前爲止都是在討論方陣的特徵值和特徵向量,現準備擴充到更通常的情形,即任意的線性變換矩陣。假設矩陣不是方陣,那麼線性變換表示的爲投影或者升維(這種升維是相似於將二維的平面投射到一個三維空間的平面中,本質上仍是一個平面但有了三維的屬性),若是要求出變換後對原始向量有最大、次大...的拉伸程度以及對應的向量即求|A.x|的平方的最大、次大...值。算法
奇異值分解是一種對全部矩陣都適用的分解算法,它自己在不一樣的應用場景中都有相應的意義,先描述它的計算方法:3d
一、設矩陣A是個通常矩陣(x行y列)先將原始矩陣轉換成(y行y列)這樣的形式即,該矩陣是一個對稱矩陣而且對角線上的值必定非負;blog
二、對該對稱矩陣按照以前所說進行類似對角化,能夠獲得相應的對角矩陣而且特徵向量相互正交;方法
三、設V一、V2...Vn(向量中值的個數爲y)以及R一、R2...Rn是該對稱矩陣相應的特徵向量和特徵值,則,因爲必定非負因此特徵值Rn也非負;im
四、由3可得A的奇異值爲即|A.Vn|的大小,而且非零奇異值的個數爲A的秩r(必定小於等於x和y中最小值),對應的特徵向量相互正交併組成了colA的基(在線性代數及應用中有證實)。將特徵向量轉換爲單位向量爲Ur=A.Vr/(向量中值的個數爲x),則.Ur=A.Vr,令(y行y列),(x行y列),(x行y列),(x行x列),d3
則U.==,因爲V爲單位正交矩陣則db