圖像處理的一些方法

 Atam教授：核希爾伯特空間（ 再生Hilbert空間），蒙塔卡羅方法，KNN，多維線性迴歸，PSF方法
迴歸，特徵之間的非線性關係，deep learning，香農信息熵，迴歸貝葉斯，稀疏字典構造
Jayaram: 模糊連通性原理，稀疏分解，非負矩陣分解，svd分解
圖分割，adaboost，自適應稀疏模型
圖像基因相關性，協同低秩迴歸，CCA

 

從這些裏面找幾個詳細介紹一下，最好有例子

==================================================================================================================================

相關方法：

     一、 核希爾伯特空間（ 再生Hilbert空間）  ：是有限維內積空間向無限維線性空間的推廣

          再生Hilbert空間 http://blog.csdn.net/pi9nc/article/details/8096262

          Hilbert space  http://blog.csdn.net/pi9nc/article/details/8096262

 

          完備的內積空間，n維歐幾里得空間的推廣，又稱無窮維歐化空間。歐幾里得空間Rn最突出的特色是向量的內積，兩個向量x＝（x1，x2…，xn）∈Rn，y＝（y1，y2，…，yn）由內積可導出兩個向量的互相垂直成正交：x與y互相垂直（x，y）＝0，記做x⊥y，這與三維歐幾里得空間中向量相互垂直的幾何概念一致，有了正交概念就可進而引入正交投影、正交基等一系列概念，希爾伯特空間就是有限維內積空間向無限維線性空間的推廣。基本概念和研究方法也被相應地拓廣到希爾伯特空間中，希爾伯特空間是泛涵分析研究的基本對象之一，而且成爲量子力學、積分方程、正交級數理論等方面研究問題的重要工具 ，

 

設 l2＝(x1，x2…xn，…) ：每一Xn爲實數 ( 或複數），對於x＝(x1，x2…，xn，…)、y＝(y1，y2，…，yn，…)∈l2， "a∈K，規定x＋y＝（x1＋y1，x2＋y2，…，xn＋yn ，…），ax＝（ax1，ax2，…，axn，…），則l2爲一線性空間，規定內積，則l2成爲一個希爾伯特空間。

本質：知足通常Euclidean space性質且有內積。
      實驗 ：   希爾伯特曲線 

可以使用這樣一條線遍歷圖像中全部的像素，（下圖爲N階曲線，n越大時會圖像會變成全白的，）

          Hilbert變換：一個實值函數的希爾伯特變換(Hilbert transform)——在此標示爲H——是將信號s(t)與1/(πt)作卷積，以獲得s'(t)。所以，希爾伯特變換結果s'(t)能夠被解讀爲輸入是s（t）的線性時不變系統(linear time invariant system)的輸出，而此係統的脈衝響應爲1/(πt)。簡單點，信號經希爾伯特變換後，在頻域各頻率份量的幅度保持不變，但相位將出現90°相移。即對正頻率滯後π/2，對負頻率導前π/2，所以希爾伯特變換器又稱爲90°移相器。

即，希爾伯特變換

t=0:pi/50:2*pi;
x=sin(t);
size=(x);
y=hilbert(x);
plot ( t, imag(y) ,'r' )

 

 

二、蒙特卡羅方法   http://www.zhihu.com/question/20254139

 

      ①MC 的原理

針對實際問題創建一個簡單且便於實現的機率統計模型，使問題的解對應於該模型中隨機變量的機率分佈或其某些數字特徵，好比，均值和方差等。所構造的模型在主要特徵參量方面要與實際問題或系統相一致的。
根據模型中各個隨機變量的分佈，在計算機上產生隨機數，實現一次模擬過程所需的足夠數量的隨機數。一般先產生均勻分佈的隨機數，而後生成服從某一分佈的隨機數，再進行隨機模擬試驗。 

 

收斂性: 由大數定律, Monte-Carlo模擬的收斂是以機率而言的．

偏差: 用頻率估計機率時偏差的估計，可由中心極限定理，給定置信水平的條件下，有：

模擬次數:

由偏差公式得：

 

 

②解題過程的三個主要步驟：

（1）構造或描述機率過程

對於自己就具備隨機性質的問題，如粒子輸運問題，主要是正確描述和模擬這個機率過程，對於原本不是隨機性質的肯定性問題，好比計算定積分，就必須事先構造一我的爲的機率過程，它的某些參量正好是所要求問題的解。即要 將不具備隨機性質的問題轉化爲隨機性質的問題。

（2）實現從已知機率分佈抽樣

構造了機率模型之後，因爲各類機率模型均可以看做是由各類各樣的機率分佈構成的，所以產生已知機率分佈的隨機變量（或隨機向量），就成爲實現蒙特卡羅方法模擬實驗的基本手段，這也是蒙特卡羅方法被稱爲隨機抽樣的緣由。最簡單、最基本、最重要的一個機率分佈是（0，1）上的均勻分佈（或稱矩形分佈）。隨機數就是具備這種均勻分佈的隨機變量。隨機數序列就是具備這種分佈的整體的一個簡單子樣，也就是一個具備這種分佈的相互獨立的隨機變數序列。產生隨機數的問題，就是從這個分佈的抽樣問題。在計算機上，能夠用物理方法產生隨機數，但價格昂貴，不能重複，使用不便。另外一種方法是用數學遞推公式產生。這樣產生的序列，與真正的隨機數序列不一樣，因此稱爲 僞隨機數，或僞隨機數序列。不過，通過多種統計檢驗代表，它與真正的隨機數，或隨機數序列具備相近的性質，所以可把它做爲真正的隨機數來使用。由已知分佈隨機抽樣有各類方法，與從(0,1)上均勻分佈抽樣不一樣，這些方法都是藉助於隨機序列來實現的，也就是說，都是以產生隨機數爲前提的。因而可知，隨機數是咱們實現蒙特卡羅模擬的基本工具。

（3）創建各類估計量

通常說來，構造了機率模型並能從中抽樣後，即實現模擬實驗後，咱們就要肯定一個隨機變量，做爲所要求的問題的解，咱們稱它爲 無偏估計。創建各類估計量，至關於對模擬實驗的結果進行考察和登記，從中獲得問題的解。

數學應用：

    一般蒙特·卡羅方法經過構造符合必定規則的隨機數來解決數學上的各類問題。對於那些因爲計算過於複雜而難以獲得解析解或者根本沒有解析解的問題，蒙特·卡羅方法是一種有效的求出數值解的方法。通常蒙特·卡羅方法在數學中 最多見的應用就是蒙特·卡羅積分。

在解決實際問題的時候 應用蒙特·卡羅方法主要有兩部分工做：

1． 用蒙特·卡羅方法模擬某一過程時，須要產生某一律率分佈的隨機變量。

2． 用統計方法把模型的數字特徵估計出來，從而獲得實際問題的數值解。

 

蒙特卡洛(Monte Carlo)模擬是一種經過設定隨機過程，反覆生成時間序列，計算參數估計量和統計量，進而研究其分佈特徵的方法。具體的，當系統中各個單元的可靠性特徵量已知，但

系統的可靠性 過於複雜，難以創建可靠性預計的精確數學模型或模型太複雜而不便應用時，可用隨機模擬法近似計算出 系統可靠性 的預計值；隨着模擬次數的增多，其預計精度也逐漸增高。因爲涉及到時間序列的反覆生成，蒙特卡洛模擬法是以高容量和高速度的計算機爲前提條件的，

 

四分之一園內投點實驗，

 

三、KNN： http://baike.baidu.com/view/1485833.htm?fromtitle=Knn&fromid=3479559&type=syn

方法的思路是：若是一個樣本在特徵空間中的k個最類似(即特徵空間中最鄰近)的樣本中的大多數屬於某一個類別，則該樣本也屬於這個類別。

 

該算法在分類時有個主要的不足是，當樣本不平衡時，如一個類的樣本容量很大，而其餘類樣本容量很小時，有可能致使當輸入一個新樣本時，該樣本的K個鄰居中大容量類的樣本佔多數。所以能夠採用權值的方法（和該樣本距離小的鄰居權值大）來改進。該方法的另外一個不足之處是 計算量較大，由於對每個待分類的文本都要計算它到全體已知樣本的距離，才能求得它的K個最近鄰點。目前經常使用的解決方法是 事先對已知樣本點進行剪輯，事先去除對分類做用不大的樣本。該算法比較適用於樣本容量比較大的類域的自動分類，而那些樣本容量較小的類域採用這種算法比較容易產生誤分。

模擬程序：

 

 

四、多維線性迴歸

迴歸分析是研究一個因變量與另外一個或一組自變量間定量關係的一種統計分析方法。

 

迴歸分析的 主要任務就是以偏差 ε0,ε1,...,εn的 平方和最小爲原則，求取多元線性迴歸模型的迴歸係數 a0,a1,...,ak.

MATLAB模擬函數：[b,bint,r,rint,stats]=regress(Y,X,0.05);

在Matlab統計工具箱中使用命令regress()實現多元線性迴歸，調用格式爲
    b=regress(y，x)    或    [b，bint，r，rint，statsl = regess(y，x，alpha)
    其中因變量數據向量y和自變量數據矩陣x按如下排列方式輸入
    對一元線性迴歸，取k=1便可。alpha爲顯著性水平(缺省時設定爲0.05)，輸出向量b，bint爲迴歸係數估計值和它們的置信區間，r，rint爲殘差及其置信區間，stats是用於檢驗迴歸模型的統計量，有四個數值，第一個是R2，其中R是相關係數，第二個是F統計量值，第三個是與統計量F對應的機率P，第四個是 an estimate of the error variance（一個對錯誤的方差估計）。

stats參數解釋以下：  第一項：相關係數；第二項：F統計；第三項：是與統計量F對應的機率P；第四項：估計偏差方差。
R2表示方差解釋率，R2越接近1說明數據擬合程度越好。
F統計量用於檢驗模型是否經過檢驗。經過查F分佈表，若是F>F分佈表中對應的值，則經過檢驗。
P爲F 統計量對應的機率，越接近0越好，當P<α時拒絕H0，迴歸模型成立。

在MATLAB裏實現，
①     首先創建迴歸模型
輸入：
x1=[5.5 2.5 8.0 3.0 3.0 2.9 8.0 9.0 4.0 6.5 5.5 5.0 6.0 5.0 3.5 8.0 6.0 4.0 7.5 7.0]';
x2=[31 55 67 50 38 71 30 56 42 73 60 44 50 39 55 70 40 50 62 59]';
x3=[10 8 12 7 8 12 12 5 8 5 11 12 6 10 10 6 11 11 9 9]';
x4=[8 6 9 16 15 17 8 10 4 16 7 12 6 4 4 14 6 8 13 11]';
Y=[79.3 200.1 163.2 200.1 146.0 177.7 30.9 291.9 160.0 339.4 159.6 86.3 237.5 107.2 155.0 201.4 100.2 135.8 223.3 195.0]';
X=[ones(20,1) x1 x2 x3 x4];
[b,bint,r,rint,stats]=regress(Y,X,0.05);
b,bint,stats
輸出：
b =
  191.9158
   -0.7719
    3.1725
  -19.6811
   -0.4501
bint =
103.1071  280.7245
   -7.1445    5.6007
    2.0640    4.2809
  -25.1651  -14.1972
   -3.7284    2.8283
stats =
0.9034   35.0509    0.0000   644.6510
即  = 191.9158    =-0.7719    = 3.1725    =-19.6811    =-0.4501；

的置信區間爲[103.1071  280.7245]； 的置信區間爲[-7.1445  5.6007]； 的置信區間爲[2.0640  4.2809]； 的置信區間爲[-25.1651  -14.1972]； 的置信區間爲[-3.7284  2.8283]；

= 0.9034, F=35.0509, p=0.0000 
因P<0.05, 可知 迴歸模型 y=191.9158 -0.7719x1+3.1725*x2-19.6811*x3 -0.4501*x4成立.
②分析哪些是主要的影響因素
輸入：x1=[5.5 2.5 8.0 3.0 3.0 2.9 8.0 9.0 4.0 6.5 5.5 5.0 6.0 5.0 3.5 8.0 6.0 4.0 7.5 7.0]';
x2=[31 55 67 50 38 71 30 56 42 73 60 44 50 39 55 70 40 50 62 59]';
x3=[10 8 12 7 8 12 12 5 8 5 11 12 6 10 10 6 11 11 9 9]';
x4=[8 6 9 16 15 17 8 10 4 16 7 12 6 4 4 14 6 8 13 11]';
Y=[79.3 200.1 163.2 200.1 146.0 177.7 30.9 291.9 160.0 339.4 159.6 86.3 237.5 107.2 155.0 201.4 100.2 135.8 223.3 195.0]';
X=[x1 x2 x3 x4];   stepwise(X,Y);

從表Stepwise Table中分析得出變量x2和x3爲主要的影響因素。

RMSE：模型的統計量剩餘標準差，迴歸標準差主要用於度量因爲迴歸關係所引發的變異程度的大小。更進一步說，是X變量的變化引發的y變量變化的大小。

intercept是常數項的估計值，
F爲F檢驗統計量的觀測值， 判斷兩整體方差是否相同，

F值越大，經過檢驗的可能性就越大。F值表示迴歸模型的方差與殘差的比值（殘差就是總方差減去迴歸模型的方差）,能夠想象 F越大，表示殘差越小,模擬的精度越高（從方差方面考慮）.

R-square 爲相關係數，R方一般用來描述數據對模型的擬合程度的好壞,

 

Adj R-sq爲判斷係數，

優化到第二步，0.021265，

優化到第三步，0.017216，

 

【R²adj(即R-Sq(adj))是扣除了迴歸方程中所受到的包含項數的影響的相關係數，於是能夠更準確地反映模型的好壞，一樣， 它也是越接近於1就越好，

所以，要判斷兩個模型的優劣能夠從R-Sq(adj)和R-Sq的接近程度來判斷： 兩者之差越小則說明模型越好，咱們經常比較包含全部自變量有關項的「全模型」與刪去全部影響不顯著的項後的「 縮減模型」，看看究竟哪一個更好，若是將影響不顯著地項刪去以後，兩者更接近，則說明刪去這些項確實使模型獲得改進。】

 

p值是將觀察結果認爲有效即具備整體表明性的犯錯機率。如p=0.05提示樣本中變量關聯有5%的多是因爲偶然性形成的。

 

③移去非關鍵變量x1和x4後模型具備顯著性. 雖然剩餘標準差（RMSE）有了變化，統計量F的值明顯增大，所以新的迴歸模型更好.就獲得最優模型。

輸入：
X1=[ones(20,1) x2 x3];
[b,bint,r,rint,stats]=regress(Y,X1);
b,bint,stats
輸出：
b =
  186.0484
    3.0907
  -19.5140
bint =
  110.4254   261.6715
      2.1657    4.0156
  -24.5597   -14.4683
stats =
0.9024   78.6295    0.0000   574.1580
P=0.0000<0.05,說明迴歸模型的迴歸效果顯著；
最優迴歸方程爲：y=186.0484+3.0907*x2-19.5140*x3

關於線性迴歸分析的其餘相關內容：http://blog.sina.com.cn/s/blog_03f96e310106lktb.html

五、PSF方法（point spread function）

對光學系統來說，輸入物爲一點光源時其輸出像的光場分佈，稱爲 點擴散函數。

點擴散函數是用來評估一個成像系統的最小空間分辨距離的函數。點擴散就是點光源成像後的光能散開的意思。假定咱們將一個物體看做是徹底由一個點組成，那麼這個物體的圖像至少是一個映像點的寬度。可是，一般一個物體的圖像是由許多個映像點組成的斑點構成，而且斑點的中央部位最亮，周圍亮度遞減。顯然，這個斑點越集中，成像效果就會越好。

    若是咱們將這個斑點進行劃分，能夠獲得一個一元的PSF函數。結果成爲所謂的最大半寬值(full width half maximum，FWHW)，即PSF最大值一半時的寬度。

    PSF並非均衡的，於是在不一樣的方向有不一樣的最小空間的分辨距離。正電子發射掃描(positron emission tomography,PET)成像系統就是一個例子。

    若是受檢目標正好由兩個理想G點組成，其距離正好是FWHM（最大半寬值），那麼這兩點就恰好能夠在成像中被分辨出，這一例證正好是高斯分佈的點擴散函數(Gaussian PSF)。

 

一、迴歸，

迴歸分析是研究一個因變量與另外一個或一組自變量間定量關係的一種統計分析方法。

前面介紹了線性迴歸……

二、特徵之間的非線性關係， 相關資料暫缺，

（特徵提取） http://www.xuebuyuan.com/2030260.html

特徵提取最重要的一個特性是「可重複性」：同一場景的不一樣圖像所提取的特徵應該是相同的。

        特徵提取是圖象處理中的一個初級運算，也就是說它是對一個圖像進行的第一個運算處理。它檢查每一個像素來肯定該像素是否表明一個特徵。假如它是一個更大的算法的一部分，那麼這個算法通常只檢查圖像的特徵區域。做爲特徵提取的一個前提運算，輸入圖像通常經過高斯模糊核在尺度空間中被平滑。

三、deep learning，

人們對於神經系統的進一步思考。神經-中樞-大腦的工做過程，或許是一個不斷迭代、不斷抽象的過程。

       這裏的關鍵詞有兩個，一個是抽象，一個是迭代。從原始信號，作低級抽象，逐漸向高級抽象迭代。人類的邏輯思惟，常用高度抽象的概念。

        例如，從原始信號攝入開始（瞳孔攝入像素 Pixels），接着作初步處理（大腦皮層某些細胞發現邊緣和方向），而後抽象（大腦斷定，眼前的物體的形狀，是圓形的），而後進一步抽象（大腦進一步斷定該物體是隻氣球）。

 

更高層次的視覺抽象
原始形狀探測器
邊緣檢測器
像素

 

把學習結構看做一個網絡，則深度學習的核心思路以下：

① 無監督學習用於每一層網絡的pre-train；

②每次用無監督學習只訓練一層，將其訓練結果做爲其高一層的輸入；

③用自頂而下的監督算法去調整全部層

相關資源 http://www.cnblogs.com/tornadomeet/category/497607.html

http://www.xuebuyuan.com/2012815.html

經常使用模型與方法：

http://blog.sina.com.cn/s/blog_6a1b8c6b0101h9ho.html#9

一、AutoEncoder自動編碼器

二、Sparse Coding稀疏編碼

三、Restricted Boltzmann Machine (RBM)限制波爾茲曼機     

四、Deep Belief Networks深信度網絡 

五、Convolutional Neural Networks卷積神經網絡

用來識別數字的卷積網絡是LeNet-5（ 效果和paper等見這）

 

四、香農信息熵，

在圖像處理中，圖像的熵表徵了圖像信息量的大小。

五、迴歸貝葉斯=>貝葉斯線性迴歸

貝葉斯線性迴歸的引入主要是在最大似然估計中很難決定模型的複雜程度，ridge（嶺）迴歸加入的懲罰參數其實也是解決這個問題的，同時能夠採用的方法還有對數據進行正規化處理，另外一個能夠解決此問題的方法就是採用貝葉斯方法。

貝葉斯線性迴歸是在普通線性迴歸基礎上加上了模型參數的先驗p(w),從最大似然估計變成最大後驗,

預測分佈就是給你x的值讓你求y得值，固然你能夠從w得space裏面選一組參數來進行預測，但更爲可靠的方法是概括一下全部的w

也就是

經過計算，能夠獲得：

下面是一個樣例：

其中綠色的線是標準的分佈，紅線是平均值，粉紅色的部分是分佈的標準差，能夠看到隨着樣例的愈來愈多，均值愈來愈好地擬合了原來的分佈

http://www.xuebuyuan.com/2077927.html

 

六、稀疏字典構造

Overcomplete dictionary過完備字典：擁有多於必要的column來表達這個數據（redundancy）。

 

這樣的字典在信號的表示定義中引進了一種有趣的不肯定性。咱們設字典D=[d_1 d_2…d_l] ∈ R^(N×L)，其中的列構成了字典的原子，且L≥N。用字典表示一個x∈R^N的信號有兩種途徑，一種是分析途徑，信號用它自身與原子的乘積來表示,
                                                                          (1)

          另外一種是綜合途徑，信號被表示爲原子的線性組合，
                                                                          (2)  

     這兩種定義在完備狀況(L=N)時是徹底一致的，這時分析字典和綜合字典是雙正交的。然而在一般狀況下，這兩種字典是顯著不一樣的。
              分析字典方法提出了另外一個有趣的問題：當D過完備時，知足(2)的γ_s表示的族其實是無限大的，它的自由度與D的零空間的維數相同。這容許咱們參考價值函數C(γ),來尋找信息量最大的信號表示方法：
                             知足 x=Dγ .                  (3)

               實用的C(γ)的選取提升了表示的稀疏性，意味着咱們但願選取的係數能快速衰減。問題（3）常被稱爲稀疏編碼。

 

最初實現：首先被採用的結構是短時傅里葉變換（STFT，Gabor變換），它做爲傅里葉變換的天然延伸出現。在STFT中，傅里葉變換被局部（可能重疊）地應用於信號的某些部分，從而展現出信號的時間-頻率（或空間-頻率）描述。如今，Gabor變換的實際應用主要在於分析和探測方面，表現爲一些方向濾波器的集合。

 

多分辨率：小波變換，在信號是有有限間斷點的分段光滑1維信號時，小波基底中的非線性近似被證實是最優的。小波變換在更高的維度失去了其最優性。高維變換隻是一維變換的簡單可分離延伸，其原子在不一樣大小的矩形域上被支撐。這種可分離性使變換簡單實用。然而，做爲結果的字典只對有奇異點的信號有效，而大部分天然信號都表現出拉長的邊緣奇異性。

 

自適應性：小波包變換，小波變換強制執行一個特定的時間-頻率結構，其中高頻原子有不多的支撐而低頻原子有大量的支撐。這種選擇的確與現實中天然界的信號有很深的聯繫。然而，對於特定信號，更好的分區是可行的。小波包字典基本上統一了全部的二值時頻原子。這些原子能夠從一對特定的尺度函數與母小波中獲得，因此不一樣頻率的原子能夠進入時間支持的陣列。在這個大集合外，小波包變換能爲給出的任何信號有效地選取一個最優的正交子字典，標準小波基只是指數數值的選項中的一種。這個過程所以被做者們命名爲最優基搜尋。

 

小波變換用於：

圖像壓縮，

 

 

去噪：

 

小波平滑：別人的實驗結果，

 

相關實例：

        

       

http://www.doc88.com/p-7354054982968.html

因爲正交小波變換 只對信號的低頻部分作進一步分解， 而對高頻部分也即信號的細節部分再也不繼續分解， 因此小波變換可以很好地表徵一大類以 低頻信息爲主要成分的信號， 但它不能很好地分解和表示包含大量細節信息（細小邊緣或紋理） 的信號， 如非平穩機械振動信號、 遙感圖象、 地震信號和生物醫學信號等。 與之不一樣的是，  小波包變換能夠 對高頻部分提供更精細的分解， 並且這種分解既無冗餘， 也無疏漏， 因此對包含大量中、 高頻信息的信號可以進行更好的時頻局部化分析。

 

實驗結果：沒法識別的差別，

           圖像Haar小波變換
          傅里葉變換是用一系列不一樣頻率的正餘弦函數去分解原函數，變換後獲得是原函數在正餘弦不一樣頻率下的係數。

小波變換使用一系列的不一樣尺度的小波去分解原函數，變換後獲得的是原函數在不一樣尺度小波下的係數。

不一樣的小波經過平移與尺度變換分解，平移是爲了獲得原函數的時間特性，尺度變換是爲了獲得原函數的頻率特性。

小波變換步驟：

1.把小波w(t)和原函數f(t)的開始部分進行比較，計算係數C。係數C表示該部分函數與小波的類似程度。

2.把小波向右移k單位，獲得小波w(t-k)，重複1。重複該部知道函數f結束.

3.擴展小波w(t)，獲得小波w(t/2)，重複步驟1,2.

4.不斷擴展小波，重複1,2,3.

這裏使用的haar小波，縮放函數是[1 1]，小波函數是[1 -1]。是最簡單的小波了。

尺度爲2的全分解小波包：

======================================================================================================

一、模糊連通性原理，

是利用分析得出的 局部範圍內的圖像元素信息的相互關係，來綜合評價全局範圍內，圖像分割實體與分割背景的界限關係，進而實現從圖像中分割出目標實體的目的.

 

基於模糊連通性的圖像分割方法的出發點在於 圖像因爲採集設備在時間和空間解析度的限制和人爲因素的影響，具備模糊特性:
     1.圖像中的有明顯的分級特徵,結合雜質、模糊、噪聲和背景信息造成分級混合體;
     2.圖像包含的實體之間以某種方式交錯鄰接在一塊兒.

基於模糊連通性的 分割方法，可以較好的描述圖像中因爲邊界不清晰而沒法精肯定義的目標區域,同時對噪聲不敏感,可以對指定的區域 實現精確的聚合,特別 對細小的分叉結構有較強的識別能力.

有論文論文一篇，

二、稀疏分解，

三、非負矩陣分解，NMF

非負矩陣分解定義爲：

找到非負矩陣 與 使得 。在計算中等式二者很難徹底相等。在計算中每每是根據某更新法則迭代更新出兩個乘子， 當上式左右兩端的距離（如歐式距離）知足咱們設定的大小，中止迭代。

一般的矩陣分解會 把一個大的矩陣分解爲多個小的矩陣，可是這些矩陣的元素有正有負。而在現實世界中，好比圖像，文本等造成的矩陣中負數的存在是沒有意義的，因此若是能把一個矩陣分解成全是非負元素是頗有意義的。在NMF中要求原始的矩陣的全部元素的均是 非負的， 那麼矩陣能夠分解爲兩個更小的非負矩陣的乘積，這個矩陣有且僅有一個這樣的分解，即知足存在性和惟一性。

 

NMF能用於發現數據庫中 圖像的特徵，便於 快速識別應用，好比實現錄入恐怖分子的照片，而後在安檢口對可疑人員進行盤查。在文檔方面，NMF可以發現 文檔的語義相關度，用於信息的自動索引和提取。在生物學中，在DNA陣列分析中識別基因等。在語音識別系統中NMF也能發揮重要做用。

http://blog.csdn.net/acdreamers/article/details/44663421

 

這裏r是分解矩陣的秩，V是原矩陣的一個近似，W與H就是分解而成的兩個矩陣。

 

實驗：函數NMF（）；

 

四、svd分解

奇異值 分解

矩陣的奇異值分解在矩陣理論的重要性不言而喻，它在最優化問題、特徵值問題、最小乘方問題、廣義逆矩陣問,統計學,圖像壓縮等方面都有十分重要的應用。

 

 

定義： 設A爲m*n階矩陣， A  ^H A 的n個特徵值的 非負平方根叫做A的奇異值。記爲σ  _i (A)。若是把A  ^H A的特徵值記爲λ  _i (A)，則σ  _i (A)＝ λ  _i (A  ^HA)^(1/2)。

 

定理 （奇異值分解）設A爲m*n階復矩陣，則存在m階酉陣U和n階酉陣V，使得：

A = U*S*V’

其中S=diag(σ _i ,σ ₂ ,……,σ _r )，σ _i >0  (i=1,…,r)，r=rank(A) 。 

推論： 設A爲m*n階實矩陣，則存在m階正交陣U和n階正交陣V，使得

A = U*S*V’

其中S=diag(σ _i ,σ ₂ ,……,σ _r )，σ _i >0  (i=1,…,r)，r=rank(A) 。

 

在壓縮圖像應用中，抽象的例子能夠入下圖所示：

上圖中三個矩陣相乘的結果將會是一個接近於A的矩陣，在這兒，r越接近於n，則相乘的結果越接近於A。而這三個矩陣的面積之和（在存儲觀點來講，矩陣面積越小，存儲量就越小）要遠遠小於原始的矩陣A，咱們若是想要壓縮空間來表示原矩陣A，咱們存下這裏的三個矩陣：U、Σ、V就行了。

 

主要應用領域

1、奇異值與主成分分析（PCA）

2、奇異值與潛在語義索引LSI

3、圖像壓縮

假設咱們有以下的一張 15 x 25 的圖像數據。

 

咱們將圖像表示成 15 x 25 的矩陣，矩陣的元素對應着圖像的不一樣像素，若是像素是白色的話，就取 1，黑色的就取 0. 咱們獲得了一個具備375個元素的矩陣，

若是咱們對矩陣M進行奇異值分解之後，獲得奇異值分別是

σ ₁  = 14.72 
σ ₂  = 5.22 
σ ₃  = 3.31

矩陣M就能夠表示成

M = u ₁ σ ₁   v ₁ ^T  +  u ₂ σ ₂   v ₂ ^T  +  u ₃ σ ₃   v ₃ ^T

v _i 具備15個元素， u _i  具備25個元素，σ _i  對應不一樣的奇異值。如上圖所示，咱們就能夠用123個元素來表示具備375個元素的圖像數據了。

4、去除噪聲

咱們有一張掃描的，帶有噪聲的圖像，

咱們採用跟實例二相同的處理方式處理該掃描圖像。獲得圖像矩陣的奇異值：

σ ₁  = 14.15 
σ ₂  = 4.67 
σ ₃  = 3.00 
σ ₄  = 0.21 
σ ₅  = 0.19 
… 
σ ₁₅  = 0.05

很明顯，前面三個奇異值遠遠比後面的奇異值要大，這樣矩陣 M 的分解方式就能夠以下：

通過奇異值分解後，咱們獲得了一張降噪後的圖像。

 

5、數據分析

咱們蒐集的數據中老是存在噪聲：不管採用的設備多精密，方法有多好，老是會存在一些偏差的。若是大家還記得上文提到的，大的奇異值對應了矩陣中的主要信息的話，運用SVD進行數據分析，提取其中的主要部分的話，仍是至關合理的。

做爲例子，假如咱們蒐集的數據以下所示：

咱們將數據用矩陣的形式表示：

通過奇異值分解後，獲得

σ ₁  = 6.04 
σ ₂  = 0.22

因爲第一個奇異值遠比第二個要大，數據中有包含一些噪聲，第二個奇異值在原始矩陣分解相對應的部分能夠忽略。通過SVD分解後，保留了主要樣本點如圖所示

 

實驗：

 

 

 

一、圖分割，

     所謂圖像分割指的是根據 灰度、顏色、紋理和形狀等特徵把圖像劃分紅若干互不交迭的區域，並使這些特徵在同一區域內呈現出類似性，而在不一樣區域間呈現出明顯的差別性。

 

一、基於 閾值的分割方法

 

      閾值法的基本思想是基於圖像的 灰度特徵來計算一個或多個 灰度閾值，並將圖像中每一個像素的灰度值與閾值相比較，最後將像素根據比較結果分到合適的類別中。所以，該類方法最爲關鍵的一步就是按照某個準則函數來 求解最佳灰度閾值。

 

二、基於 邊緣的分割方法

 

       所謂邊緣是指圖像中兩個不一樣區域的邊界線上連續的像素點的集合，是圖像局部特徵不連續性的反映，體現了灰度、顏色、紋理等圖像特性的突變。一般狀況下，基於邊緣的分割方法指的是 基於灰度值的邊緣檢測，它是創建在邊緣灰度值會呈現出 階躍型或屋頂型變化這一觀測基礎上的方法。

 

階躍型邊緣兩邊像素點的灰度值存在着明顯的差別，而屋頂型邊緣則位於灰度值上升或降低的轉折處。正是基於這一特性， 可使用微分算子進行邊緣檢測，即便用一階導數的極值與二階導數的過零點來肯定邊緣， 具體實現時可使用圖像與模板進行卷積來完成。

 

三、基於 區域的分割方法

 

      此類方法是將圖像按照 類似性準則分紅不一樣的區域，主要包括種子區域生長法、區域分裂合併法和分水嶺法等幾種類型。

 

       種子區域生長法是從一組表明不一樣生長區域的種子像素開始，接下來將 種子像素鄰域裏符合條件的像素合併到種子像素所表明的生長區域中，並將新添加的像素做爲新的種子像素繼續合併過程，直到找不到符合條件的新像素爲止。 該方法的關鍵是選擇合適的初始種子像素以及合理的生長準則。

 

        區域分裂合併法（Gonzalez，2002）的基本思想是首先將圖像任意分紅若干互不相交的區域，而後再 按照相關準則對這些區域進行分裂或者合併從而完成分割任務，該方法既適用於 灰度圖像分割也適用於紋理圖像分割。

 

         分水嶺法（Meyer，1990）是一種基於 拓撲理論的數學形態學的分割方法，其基本思想是把圖像看做是測地學上的拓撲地貌，圖像中每一點像素的灰度值表示該點的海拔高度，每個局部極小值及其影響區域稱爲集水盆，而集水盆的邊界則造成分水嶺。該算法的實現能夠模擬成洪水淹沒的過程，圖像的最低點首先被淹沒，而後水逐漸淹沒整個山谷。當水位到達必定高度的時候將會溢出，這時在水溢出的地方修建堤壩，重複這個過程直到整個圖像上的點所有被淹沒，這時 所創建的一系列堤壩就成爲分開各個盆地的分水嶺。分水嶺算法對 微弱的邊緣有着良好的響應，但圖像中的噪聲會使分水嶺算法產生 過度割的現象。

 

四、基於 圖論的分割方法

 

        此類方法把圖像分割問題與 圖的最小割（min cut）問題相關聯。首先將 圖像映射爲帶權無向圖G=<V，E>，圖中每一個 節點N∈V對應於圖像中的每一個像素，每條邊∈E鏈接着一對相鄰的像素，邊的權值表示了相鄰像素之間在灰度、顏色或紋理方面的 非負類似度。而對圖像的一個分割s就是對圖的一個剪切，被分割的每一個區域C∈S對應着圖中的一個子圖。而分割的最優原則就是 使劃分後的子圖在內部保持類似度最大，而子圖之間的類似度保持最小。基於圖論的分割方法的本質就是 移除特定的邊，將圖劃分爲若干子圖從而實現分割。目前所瞭解到的基於圖論的方法有GraphCut，GrabCut和Random Walk等。

 

五、基於 能量泛函的分割方法

 

       該類方法主要指的是 活動輪廓模型（active contour model）以及在其基礎上發展出來的算法，其基本思想是 使用連續曲線來表達目標邊緣，並定義一個能量泛函使得其自變量包括邊緣曲線，所以分割過程就轉變爲求解能量泛函的最小值的過程，通常可經過求解函數對應的 歐拉(Euler．Lagrange)方程來實現，能量達到最小時的曲線位置就是目標的輪廓所在。

 

實驗：

優化後 分水嶺分割，設置參數爲 相鄰像素差大於10時分割，

相關處理方法；http://zhidao.baidu.com/question/254301763.html

 

二、adaboost，

對於Adaboost，能夠說是久聞大名，聽說在Deep Learning出來以前，SVM和Adaboost是效果最好的 兩個算法，而Adaboost是提高樹(boosting tree)，所謂「提高樹」就是把 「弱學習算法」提高(boost)爲「強學習算法」(語自《統計學習方法》)，而其中最具表明性的也就是Adaboost了，

 

Adaboost是一種比較有特色的算法，能夠總結以下：

1）每次迭代改變的是樣本的分佈，而不是重複採樣（reweight)
2）樣本分佈的改變取決於樣本是否被正確分類

老是分類正確的樣本權值低

老是分類錯誤的樣本權值高（一般是邊界附近的樣本）

3）最終的結果是弱分類器的加權組合
     權值表示該弱分類器的性能
簡單來講，Adaboost有不少優勢:

1)adaboost是一種有很高精度的分類器

2)可使用各類方法構建子分類器，adaboost算法提供的是框架

3)當使用簡單分類器時，計算出的結果是能夠理解的。並且弱分類器構造極其簡單

4)簡單， 不用作特徵篩選

5)不用擔憂overfitting！

總之：adaboost是簡單，有效。

 

介紹adaboost的兩個特性：

一是訓練的錯誤率上界，隨着迭代次數的增長，會逐漸降低；

二是adaboost算法即便訓練次數不少，也不會出現過擬合的問題。

經常使用的二分類adaboost方法：

一、adaboost M1方法
  主要思路： adaboost組合的若干個弱分類器自己就是多分類的分類器。

二、adaboost MH方法
  主要思路： 組合的弱分類器仍然是二分類的分類器，將分類label和分類樣例組合，生成N個樣本，在這個新的樣本空間上訓練分類器。

三、對多分類輸出進行二進制編碼
  主要思路：對N個label進行二進制編碼，例如用m位二進制數表示一個label。而後訓練m個二分類分類器，在解碼時生成m位的二進制數，從而對應到一個label上。

 

 

 

 

添加6號線以後，劃分錯誤率大幅增長，添加8號劃分，綜合錯誤率下降，

 

 

三、自適應稀疏模型

 

稀疏模型將大量的冗餘變量去除，只保留與響應變量最相關的解釋變量， 簡化了模型的同時卻 保留了數據集中最重要的信息，有效地解決了高維數據集建模中的諸多問題。稀疏模型具備更好的解釋性，便於數據可視化、減小計算量和傳輸存儲。

Tibshirani把嶺迴歸【經過放棄最小二乘法的無偏性，以損失部分信息、下降精度爲代價得到迴歸係數更爲符合實際、更可靠的迴歸方法，對病態數據的擬合要強於最小二乘法 】估計的L2範數正則化項替換爲L1範數正則化項獲得了Lasso(Least Absolute Shrinkage and Selection Operator【最小絕對收縮和選擇操做】, Lasso)。L1範數罰具備 產生稀疏模型的能力，使用L1範數罰做爲正則化項的Lasso具備 變量選擇功能和 變量空間降維功能。

LAR算法(Least Angle Regression, LAR)可對Lasso有效求解。

常見模型：

組（效應）稀疏模型

某種估計方法，令那些彼此之間高度相關的變量的迴歸係數的絕對值(幾乎)相等，從而傾向於將所有高度相關的變量做爲一個組同時選中或同時移除，但自動組效應只能實現對 高度相關變量的組選擇效果。

 

樹稀疏模型

把組之間的重疊結構也做爲先驗信息引入到罰函數中,獲得重疊組套索，實際上，許多數據不但具備組結構，並且組之間存在 偏序關係，即樹結構。當處理這種數據時，須要充分 利用樹結構做爲先驗信息，獲得樹結構稀疏模型。

 

圖稀疏模型

套索模型(Lasso)由 估計損失項和 範數罰項組成，其經過範數罰實現稀疏化學習。精度矩陣(precision matrix)是圖模型中所有隨機變量的協方差矩陣的逆矩陣，它同時包含了圖模型中的 結構信息和參數信息，故經過對精度矩陣的學習可同時得到機率圖模型的結構信息和參數信息，所以對圖模型的稀疏化學習問題 本質上是對精度矩陣的稀疏化學習問題，該問題又被稱做 稀疏化協方差選擇(covariance selection)問題。圖按邊有無方向分爲有向圖模型（貝葉斯網絡）和無向圖模型（馬爾科夫網絡）。圖稀疏模型也有貝葉斯網絡和馬爾科夫網絡稀疏模型。

http://baike.baidu.com/link?url=TjjciqrAja5Eq6993AhOHrDi_HuHG97XQW7KUsZnlcobKpGCTSabpLt-xIs1WInyGFATofqSeomFTK3ueATCU771B5R0yVMFhKitC787QrgUnplY1mYeJ6hYT1DN_mig

 

一、 圖像基因相關性，

二、 協同低秩迴歸 ，

三、CCA

典範對應分析（canonical correspondence analusis, CCA），是基於 對應分析 【經過分析由 定性變量構成的交互彙總表來揭示變量間的聯繫。能夠揭示同一變量的各個類別之間的差別，以及不一樣變量各個類別之間的對應關係 】發展而來的一種 排序方法，將對應分析與多元迴歸分析相結合，每一步計算均與環境因子進行迴歸，又稱 多元直接梯度分析。其 基本思路是在對應分析的迭代過程當中，每次獲得的樣方排序座標值均與環境因子進行多元線性迴歸。CCA要求兩個數據矩陣，一個是植被數據矩陣，一個是環境數據矩陣。 首先計算出一組樣方排序值和種類排序值（同對應分析），而後將樣方排序值與環境因子用迴歸分析方法結合起來，這樣獲得的樣方排序值即反映了樣方種類組成及生態重要值對羣落的做用，同時也反映了環境因子的影響，再用樣方排序值加權平均求 種類排序值，使種類排序座標值也簡介地與環境因子相聯繫。其算法可由Canoco軟件快速實現。

       最大優勢：CCA是一種基於 單峯模型的排序方法，樣方排序與對象排序對應分析，並且在排序過程當中結合多個環境因子，所以能夠把樣方、對象與環境因子的排序結果表示在同一排序圖上。

       缺點：存在「弓形效應」。克服弓形效應能夠採用除趨勢典範對應分析（detrended canonical correspondence, DCCA）.

       結果可信性：查看累計貢獻率及環境與研究對象前兩個排序軸之間的相關性。

實驗數據：

 

處理：

 

Y1=[1,0;1,0;1,1;0,1;0,1;1,1;1,0;1,0];
X1=[-5,3;-4,3;

-2,2;-1,1;2,0.5;3,2;

6,3;7,4];
mean1=mean(X1);% 0均值處理
for i=1:8
X1(i,:)=X1(i,:)-mean1;
end
mean1=mean(Y1);
for i=1:8
Y1(i,:)=Y1(i,:)-mean1;
end
M=inv(X1'*X1+eye(2))*(X1'*Y1*inv(Y1'*Y1+eye(2))*Y1'*X1);%分解目標函數
[D,I]=eigs(M);求得特徵值 
w=D(:,1);%求得投影向量
X2=X1*w;%降維

 

Y1進行0均值化後：           X1進行0均值化後：    投影降維後的X1：

                                   

X2中第一、二、七、8都是屬於第一類，投影降維後的數據X2中就是比較近，第三、6個數據即屬於第一類也屬於第二類也比較近，第四、5數據屬於第二類也是比較近的，

http://blog.csdn.net/xiaoshengforever/article/details/30274373