[Scikit-learn] 2.5 Dimensionality reduction - Probabilistic PCA & Factor Analysis

2.5.4. Factor Analysis

---

 

PPCA的基本性質以及人肉推導：

以上假設z是標準正態分佈的狀況。如下是對z的分佈的擴展，爲general normal distribution。

 

From: http://cs.brown.edu/courses/cs195-5/spring2012/lectures/2012-04-24_factorEM.pdf 

 

PPCA能夠選擇input data，保持不變性；FA不能這麼搞。

但它倆均可以選擇latent variables。

 

From: https://www.cs.ubc.ca/~schmidtm/Courses/540-W16/L12.pdf

此處可見對x的分佈的估計。

 

主成分分析和因子分析十大不一樣

通常狀況下主成分用於探索性分析，不多單獨使用，用主成分來分析數據，能夠讓咱們對數據有一個大體的瞭解。

幾個經常使用組合：

• 主成分分析+判別分析，適用於變量多而記錄數很少的狀況；
• 主成分分析+多元迴歸分析，主成分分析能夠幫助判斷是否存在共線性，並用於處理共線性問題；
• 主成分分析+聚類分析，不過這種組合因子分析能夠更好的發揮優點。

因子分析：

• 首先，因子分析+多元迴歸分析，能夠利用因子分析解決共線性問題；
• 其次，能夠利用因子分析，尋找變量之間的潛在結構；
• 再次，因子分析+聚類分析，能夠經過因子分析尋找聚類變量，從而簡化聚類變量；
• 此外，因子分析還能夠用於內在結構證明

 

Model selection with Probabilistic PCA and Factor Analysis (FA)

http://scikit-learn.org/stable/auto_examples/decomposition/plot_pca_vs_fa_model_selection.html