[Scikit-learn] 2.5 Dimensionality reduction - ICA

理論學習：

 

獨立成分分析ICA歷史

Ref: Lecture 15 | Machine Learning (Stanford) - NG

From: https://wenku.baidu.com/view/ad0973b94028915f804dc2aa.html

解ICA的若干種方法：

• ICA by Maximization of Nongaussianity       <----
• ICA by Maximum Likelihood Estimation　　<----
• ICA by Minimization of Mutual Information
• ICA by Tensorial Methods
• ICA by Nonlinear Decorrelation and Nonlinear PCA

---

 

ICA by Maximization of Nongaussianity

基本背景：

 

估值原理：

 

解決方案：

方法有不少，基本都是：度量方法+算法，好比 "negentropy近似" + "基於固定點迭代方法"。

 

與PCA的比較：

 

論文閱讀雜記：ICA及其在數字圖像處理中的應用

應用例子，特徵提取方法 + svm 進行人臉識別

 

Centered and whitened

Ref: http://www.cnblogs.com/tornadomeet/archive/2013/03/21/2973231.html

 

優化方法 

基於固定點迭代的方法：

看上去很像牛頓法，why?

 

 

ICA by Maximum Likelihood Estimation

Ref: Lecture 15 | Machine Learning (Stanford) - NG

From: ICA教程之一【推薦！】

記錄隨機向量X的值m次，則造成數據集：

實例：在一個大廳裏，有n我的在隨機聊天。在大廳的不一樣角落，佈置n個麥克風記錄大廳的聲音，每秒一個記錄，一共記錄m秒。

麥克風記錄的混合聲音，多個麥克風記錄不一樣位置的混合聲音。

ICA的目標，就是從混聲錄音中將每一個人的聲音分離出來。

獲得的似然函數以下：

【m秒的記錄，n個話筒】

這裏就很少講了，請見原連接，講得比較清楚，建議本身推導一遍在本本上。

 

優化方法 

Newton method：

 

Stochastic Gradient Ascent：