[UFLDL] Dimensionality Reduction

時間 2019-11-18

標籤 ufldl dimensionality reduction 简体版

原文原文鏈接

博客內容取材於：http://www.cnblogs.com/tornadomeet/archive/2012/06/24/2560261.htmlphp

Deep learning：三十五(用NN實現數據降維練習)
Deep learning：三十四(用NN實現數據的降維)
Deep learning：三十三(ICA模型)
Deep learning：三十二(基礎知識_3)
Deep learning：三十一(數據預處理練習)
Deep learning：三十(關於數據預處理的相關技巧)
Deep learning：二十九(Sparse coding練習)
Deep learning：二十八(使用BP算法思想求解Sparse coding中矩陣範數導數)
Deep learning：二十七(Sparse coding中關於矩陣的範數求導)
Deep learning：二十六(Sparse coding簡單理解)

Deep learning：十二(PCA和whitening在二天然圖像中的練習) 
Deep learning：十一(PCA和whitening在二維數據中的練習) 
Deep learning：十(PCA和whitening)
Deep learning：九(Sparse Autoencoder練習)
Deep learning：八(Sparse Autoencoder)

outline

參考資料：html

在此將降維相關的內容所有集中在本篇。ios

NB: 稀疏表達(sparse representation)和降維(dimensionality reduction)算法

Here, we should note that these two concepts are different! Remeber to distinguish! api

降維(dimensionality reduction)

十(PCA和whitening)網絡

十二(PCA和whitening在二天然圖像中的練習)dom

三十(關於數據預處理的相關技巧)機器學習

歸一化 Data Normalizationide

數據的歸一化通常包括函數

- 樣本尺度歸一化，[kg, mm, ...]
- 逐樣本的均值相減，[brightness]
- 特徵的標準化。

數據尺度歸一化的緣由是：數據中每一個維度表示的意義不一樣，因此有可能致使該維度的變化範圍不一樣，所以有必要將他們都歸一化到一個固定的範圍，通常狀況下是歸一化到[0 1]或者[-1 1]。

這種數據歸一化還有一個好處是對後續的一些默認參數（好比白化操做）不須要從新過大的更改。

逐樣本的均值相減主要應用在那些具備穩定性的數據集中，也就是那些數據的每一個維度間的統計性質是同樣的。好比說，在天然圖片中，這樣就能夠減少圖片中亮度對數據的影響，由於咱們通常不多用到亮度這個信息。不過逐樣本的均值相減這隻適用於通常的灰度圖，在rgb等色彩圖中，因爲不一樣通道不具有統計性質相同性因此基本不會經常使用。

特徵標準化是指對數據的每一維進行均值化和方差相等化。這在不少機器學習的算法中都很是重要，好比SVM等。

在使用PCA前須要對數據進行預處理，[This is 特徵標準化]

- 首先是均值化，即對每一個特徵維，都減掉該維的平均值，
- 而後就是將不一樣維的數據範圍歸一化到同一範圍，方法通常都是除以最大值。

可是比較奇怪的是，在對天然圖像進行均值處理時並非減去該維的平均值，而是減去這張圖片自己的平均值。由於PCA的預處理是按照不一樣應用場合來定的。

Whitening

*Purpose

Whitening的目的是去掉數據之間的相關聯度，是不少算法進行預處理的步驟。

好比說當訓練圖片數據時，因爲圖片中相鄰像素值有必定的關聯，因此不少信息是冗餘的。這時候去相關的操做就能夠採用白化操做。

*Before whitening

數據的whitening必須知足兩個條件：

- 一. 不一樣特徵間相關性最小，接近0；[每一維獨立]
- 二. 全部特徵的方差相等（不必定爲1）。[每一維都除以標準差]

在對數據進行白化前要求先對數據進行特徵零均值化，不過通常只要咱們作了(數據歸一化)'s 特徵標準化，那麼這個條件必須就知足了。

*How to do whitening

在數據白化過程當中，最主要的仍是參數epsilon的選擇，由於這個參數的選擇對deep learning的結果起着相當重要的做用。

常見的白化操做有PCA whitening和ZCA whitening。

PCA whitening是指將數據x通過PCA降維爲z後，能夠看出z中每一維是獨立的，知足whitening白化的第一個條件，這是隻須要將z中的每一維都除以標準差就獲得了每一維的方差爲1，也就是說方差相等。公式爲：

ZCA whitening是指數據x先通過PCA變換爲z，可是並不降維，由於這裏是把全部的成分都選進去了。這是也一樣知足whtienning的第一個條件，特徵間相互獨立。而後一樣進行方差爲1的操做，最後將獲得的矩陣左乘一個特徵向量矩陣U便可。

ZCA whitening公式爲：

Ref: 實現主成分分析和白化

-- 參數epsilon的選擇 --

爲計算PCA白化後的數據 $\textstyle x_{\rm PCAwhite}$ ，能夠用

xPCAwhite = diag(1./sqrt(diag(S) + epsilon)) * U' * x;

由於 $\textstyle \lambda_i$

最後，你也能夠這樣計算ZCA白化後的數據 $\textstyle x_{\rm ZCAwhite}$ :

xZCAwhite = U * diag(1./sqrt(diag(S) + epsilon)) * U' * x;

在基於重構的模型中（好比說常見的RBM，Sparse coding, autoencoder都屬於這一類，由於他們基本上都是重構輸入數據），一般是選擇一個適當的epsilon值使得可以對輸入數據進行低通濾波。

可是何謂適當的epsilon呢？這仍是很難掌握的，

- epsilon過小，則起不到過濾效果，會引入不少噪聲，並且基於重構的模型又要去擬合這些噪聲；
- epsilon太大，則又對元素數據有過大的模糊。

所以通常的方法是畫出變化後數據的特徵值分佈圖，若是那些小的特徵值基本都接近0，則此時的epsilon是比較合理的。

以下圖所示，讓那個長長的尾巴接近於x軸。

該圖的橫座標表示的是第幾個特徵值，已經將數據集的特徵值從大到小排序過。

文章中給出了個小小的實用技巧：

若是數據已被縮放到合理範圍(如[0,1])，能夠從epsilon = 0.01或epsilon = 0.1開始調節epsilon。

　　基於正交化的ICA模型中，應該保持參數epsilon儘可能小，由於這類模型須要對學習到的特徵作正交化，以解除不一樣維度之間的相關性。

*Result:

Origianl photo --> left figure --> pca with 99% --> PCA Whitening --> 協方差矩陣 right figure

Thus, only main features remain after Whitening.

三十一(數據預處理練習)

Ref: http://scikit-learn.org/stable/modules/generated/sklearn.decomposition.PCA.html

from sklearn.decomposition import PCA pca = PCA(whiten=True) pca.fit(X)

Replace with scikit api here.

三十三(ICA模型)

Goto: [Bayesian] 「我是bayesian我怕誰」系列 - Continuous Latent Variables

八(Sparse Autoencoder)

九(Sparse Autoencoder練習)

十五(Self-Taught Learning練習)

8、九主要仍是稀疏約束部分，在稀疏表達中再詳解。

十五就是效果等價於pca，降維並且識別率還高。

Self-taught learning or Semi-supervised learning 半監督學習

Self-taught learning是徹底無監督的。

好比說咱們須要設計一個系統來分類出轎車和摩托車。

- 若是咱們給出的訓練樣本圖片是天然界中隨便下載的（也就是說這些圖片中可能有轎車和摩托車，有可能都沒有，且大多數狀況下是沒有的），而後使用的是這些樣原本特徵模型的話，那麼此時的方法就叫作self-taught learning。
- 若是咱們訓練的樣本圖片都是轎車和摩托車的圖片，只是咱們不知道哪張圖對應哪一種車，也就是說沒有標註，此時的方法不能叫作是嚴格的unsupervised feature，只能叫作是semi-supervised learning。

十六(deep networks)

該ML方法在特徵提取方面是徹底用的無監督方法，在上面的基礎上再用有監督的方法繼續對網絡的參數進行微調，這樣就能夠獲得更好的效果了。

由於有了剛剛的初始化參數【等效pca的輸入層的權重們】，此時的優化結果通常都能收斂到比較好的局部最優解

梯度擴散問題

先訓練網絡的第一個隱含層，而後接着訓練第二個，第三個…最後用這些訓練好的網絡參數值做爲總體網絡參數的初始值。

前面的網絡層次基本都用無監督的方法得到，只有最後一個輸出層須要有監督的數據。

另外因爲無監督學習其實隱形之中已經提供了一些輸入數據的先驗知識，因此此時的參數初始化值通常都能獲得最終比較好的局部最優解。

最終還在於理解下面這個權重初始化的式子，從而防止梯度消失和爆炸。

補充：stacked autoencoders - 比較常見的一種層次貪婪訓練方法【見下文詳情】

單自動編碼器，充其量也就是個強化補丁版PCA，只用一次好不過癮。

因而Bengio等人在2007年的 Greedy Layer-Wise Training of Deep Networks 中，

仿照stacked RBM構成的DBN，提出Stacked AutoEncoder，爲非監督學習在深度網絡的應用又添了猛將。

十七(Linear Decoders，Convolution和Pooling)

convolution是爲了解決前面無監督特徵提取學習計算複雜度的問題；

pooling方法是爲了後面有監督特徵分類器學習的，也是爲了減少須要訓練的系統參數；

[ 固然這是在廣泛例子中的理解，也就是說咱們採用無監督的方法提取目標的特徵，而採用有監督的方法來訓練分類器 ]

假如對一張大圖片Xlarge的數據集，r*c大小，則首先須要對這個數據集隨機採樣大小爲a*b的小圖片，而後用這些小圖片patch進行學習（好比說sparse autoencoder），此時的隱含節點爲k個。所以最終學習到的特徵數爲：

　　此時的convolution移動是有重疊的。

二十四(stacked autoencoder練習)

二十二(linear decoder練習)

PCA Whitening是保證數據各維度的方差爲1，而ZCA Whitening是保證數據各維度的方差相等便可，不必定要惟一。

而且這兩種whitening的通常用途也不同，PCA Whitening主要用於降維且去相關性，而ZCA Whitening主要用於去相關性，且儘可能保持原數據。

由於目前tensorflow的出現，使用MATLAB的練習題貌似用處不大了。

stacked autoencoder貌似也沒說什麼，至於文中提到的反捲積顯示問題，當下已經有了解決方案。

還有就是DBM多是有必須學習stacked autoencoder的惟一理由了吧，畢竟隨機初始化能夠替代這些個繁瑣的預處理過程。

二十(無監督特徵學習中關於單層網絡的分析)

二十一(隨機初始化在無監督特徵學習中的做用)

二十五(Kmeans單層網絡識別性能)

一個隱含層的網絡結構

本文是讀Ng團隊的論文」 An Analysis of Single-Layer Networks in Unsupervised Feature Learning」後的分析，主要是針對一個隱含層的網絡結構進行分析的。

分別對比了4種網絡結構，k-means, sparse autoencoder, sparse rbm, gmm。

最後做者得出了下面幾個結論：

1. 網絡中隱含層神經元節點的個數，採集的密度（也就是convolution時的移動步伐）和感知區域大小對最終特徵提取效果的影響很大，甚至比網絡的層次數，deep learning學習算法自己還要重要。

2. Whitening在預處理過程當中頗有必要！

3. 在以上4種實驗算法中，k-means效果居然最好。所以在最後做者給出結論時的建議是，儘可能使用whitening對數據進行預處理，每一層訓練更多的特徵數，採用更密集的方法對數據進行採樣。

【感知區域大小當前可經過」」小卷積核+多層「來實現，這樣參數少】

源於此論文：An Analysis of Single-Layer Networks in Unsupervised Feature Learning, Adam Coates, Honglak Lee, and Andrew Y. Ng. In AISTATS 14, 2011.

在On random weights and unsupervised feature learning. In ICML 2011,Saxe, A., Koh, P.W., Chen, Z., Bhand, M., Suresh, B., & Ng, A. (2011). 中又提出了個新觀點：

即根本就無需經過那些複雜且消耗大量時間去訓練網絡的參數的deep learning算法，咱們只需隨機給網絡賦一組參數值，其最終取得的特徵好壞不比那些預訓練和仔細調整後獲得的效果些，並且這樣還能夠減小大量的訓練時間。

四十二(Denoise Autoencoder簡單理解)

當採用無監督的方法分層預訓練深度網絡的權值時，爲了學習到較魯棒的特徵，能夠在網絡的可視層（即數據的輸入層）引入隨機噪聲，

這種方法稱爲Denoise Autoencoder(簡稱dAE)，由Bengio在08年提出，見其文章Extracting and composing robust features with denoising autoencoders.

denoise後右圖學習到的特徵更具備表明性，給人印象深入。右圖同時也給人一種overfitting的感受。

可見，特徵這個東西，是越簡單越好，表現出的樣子就是右圖所示。

四十八(Contractive AutoEncoder簡單理解)

Contractive autoencoder是autoencoder的一個變種，其實就是在autoencoder上加入了一個規則項，它簡稱CAE。

一般狀況下，對權值進行懲罰後的autoencoder數學表達形式爲：

CAE中，其數學表達式一樣很是簡單，以下：

　　是隱含層輸出值關於權重的雅克比矩陣，

　　表示的是該雅克比矩陣的F範數的平方，即雅克比矩陣中每一個元素求平方

而後求和，更具體的數學表達式爲：

關於雅克比矩陣的介紹可參考雅克比矩陣&行列式——單純的矩陣和算子，

關於F範數可參考前面的博文Sparse coding中關於矩陣的範數求導中的內容。

有了loss函數的表達式，採用常見的mini-batch隨機梯度降低法訓練便可。

關於爲何contrative autoencoder效果這麼好？

好的特徵表示大體有2個衡量標準：

1. 能夠很好的重構出輸入數據;

2.對輸入數據必定程度下的擾動具備不變形。

普通的autoencoder和sparse autoencoder主要是符合第一個標準。

deniose autoencoder和contractive autoencoder則主要體如今第二個，尤爲是對於分類任務。

總之，Contractive autoencoder主要是抑制訓練樣本（處在低維流形曲面上）在全部方向上的擾動。

三十四(用NN實現數據的降維)

Goto: [UFLDL] Generative Model 【--> 重點反而不是降維，而是能量傳播與全局最優】

稀疏表達(sparse representation)

Please goto: [UFLDL] Sparse Representation

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。