Factor_Analysis

Factor_Analysis（因子分析）
Factor Analysis 簡書：較好理解的解釋，其中公式有必定的推導（僅展示關鍵步驟，細節大多須要自行補充），基本爲結論式。

感性層面理解：首先，明確FA和PCA的區別。PCA作的是對某個樣本，試圖尋找到一組方差儘可能大的線性表示（基向量），以便降維；FA作的是，假想存在一些隱變量，它們影響着咱們的觀測結果（即咱們獲得的數據樣本），咱們試圖找到二者的聯繫：$x = \Lambda z + \mu + \epsilon$，在簡書中有說明其MLE函數形式，不難看出它的MLE形式難以求解，故採用EM（機器學習之最大指望(EM)算法，講得不錯）迭代以求最優解。此外，FA一般用於$m<<n$的慶幸

心路歷程：首先，我去推了一下EM，發現本身以前學的時候，因爲是在GMM求解的時候須要的，因此並無很仔細地推導，因此就再去推導了一次推了我一頁草稿紙。其次，沒有找到：$\mu_{x_1|x_2} = \mu_1 + \Sigma_{12} \Sigma_{22}^{-1} (x_2 - \mu_2)$ 以及 $\Sigma_{1|2} = \Sigma_{11} - \Sigma_{12} \Sigma_{22}^{-1} \Sigma_{21}$ 的公式名稱，若是看官知曉其名稱，望告知不才，感激涕零。最後，仍是忘記了矩陣求導，又去查了一下，而我也還沒有進行公式迴帶和化簡整合。自閉了，一大堆

疑問：簡書做者在開頭提到：因爲存在隱變量，同時不能由MLE獲得close form。（close form：即閉式解，通俗解釋就是$\nabla f(x) = 0$的$x$表達式），這裏不理解爲什麼沒有閉式解，目前推的結果（MLE式子），大概猜想是由於$m<<n$的緣故，這樣帶來的結果就是$\left| \Sigma \right| = 0$（其實自己$\left| \Sigma \right|$是不等於0的，可是因爲$m<<n$，因此它等於0，其實就是因爲樣本數量不足，或者說難以獲得如此高維而且充足的樣本）。顯然，$\left| \Sigma \right| = 0$會在後續中遇到諸多麻煩，最容易想的就是$\Sigma$是不可逆的，這顯然很難進行接下來的計算，雖然我算的很少，可是$\Sigma^{-1}$幾乎都是須要的。然而，能夠引入僞逆，因此確定還有我沒有想到的緣由，或者說僞逆會帶來較差的表現等等。

備註：因爲博客園寫推導公式較爲麻煩，因此沒有在博客上進行推導，不過建議看官若是並未學習過上述知識，仍是手推幾回以便增強理解和記憶（固然也有一些少年僅僅看就能獲得很好理解，而且運用巧妙）。好比在EM算法中，求解lower_bound以前，分子分母同乘一個量以便以後用Jensen不等式化簡（orz）等等（好像其餘的操做就比較平凡了）。最近閒來無事的時候，發現不少學習過的算法，特別是須要必定數學式子或者思惟來求解的（我居然想去求LCM解烤雞？？），彷佛都忘了須要求解的表達式（嘴上講講天花亂墜，手裏推推苦思冥想），雖然求解過程都不難，可是對於我來講，其中一些技巧仍是須要理解的有些計算量也是大啊。