PCA 協方差矩陣特徵向量的計算

人臉識別中矩陣的維數n>>樣本個數m。

 

計算矩陣A的主成分，根據PCA的原理，就是計算A的協方差矩陣A'A的特徵值和特徵向量，可是A'A有可能比較大，因此根據A'A的大小，能夠計算AA'或者A'A的特徵值，原矩陣和其轉置矩陣的特徵值是同樣的，只是特徵向量不同。

假如咱們的數據按行存放，A是m*n的矩陣，n>>m，m是樣本個數，n是維數，則協方差矩陣應該是A'A，A'A是n*n維的一個矩陣，這個矩陣很是大，不利於求特徵值和特徵向量，因此先求AA'的特徵值，它是一個m*m維的矩陣。

由矩陣性質，AA'的特徵值就是A'A的特徵值。下面推導A'A的特徵向量和AA'的特徵向量的關係。

 

B = A'A; C = AA';

C*y=c*y -> AA'*y=c*y ；左乘A'

A'A*(A'*y)=c*(A'*y) -->  B * (A'*y)=c*(A'*y);

因此B的特徵向量A'*y，特徵值與C相同爲c。