理解平滑

平滑的目的也是正則化的目的之一，它是針對參數w而言，本質上就是要使得w的變化不要那麼劇烈，有以下數學模型（假設最小化J）：

左側是一個典型的線性迴歸模型，(x_i，y_i)就是實際的觀測值，w就是估計的參數，右側就是一個正則化項。能夠直觀的感覺到，正則化項實際上起到了限制參數w的「變化程度或變化幅值」的做用，具體來講，它能夠令w的任何一個份量相比較於剩餘份量變化程度保持一致，不至於出現變化特別明顯的份量。直接的做用就是防止模型「過擬合」，提升了模型的泛化性能。關於這一點，具體請見http://blog.csdn.net/wsj998689aa/article/details/39547771

 

拉普拉斯平滑應用在正則化上的時候，每每被稱作「拉普拉斯懲罰」，懲罰的參數是w。

背景：機器學習中，大部分算法直接將圖像（假設爲M*N）按行或者列拉成向量，這樣確定會損失結構化信息。結構化信息是指，一個像素原本和它周圍8個像素都有關係，你直接給拉成向量了，那麼這種關係就直接被你給毀掉了，這就叫空間結構信息。這種信息屬於先驗信息，NFL定理說的很清楚：可以儘量利用先驗信息的學習算法纔是好算法。看來，空間結構信息的破壞，會下降算法的」品味「。此時，拉普拉斯懲罰會幫助找回品味。一幅圖像拉成向量x（M*N維），若是咱們要經過拉普拉斯懲罰，補償x上失去的結構信息。很簡單，以下式：

那個乘法是Kronecke積，至關於將乘號右邊的每一個元素替換成爲左邊矩陣數乘對應元素，若是A是一個 m x n 的矩陣，而B是一個 p x q 的矩陣，克羅內克積則是一個 mp x nq 的矩陣。

上述公式實際上起到的效果是，求一個矩陣中每一個元素的水平方向和垂直方向的二階差分之和，這個矩陣在這裏能夠被看錯參數w的矩陣形式（按列reshape）。進一步，若是對一個線性迴歸模型加上拉普拉斯懲罰，模型就會變爲以下形式：

拉普拉斯懲罰使得模型更加平滑，比簡單的2範數（嶺迴歸）要好，由於它考慮了空間結構信息。常被用於PCA，LDA，LPP，NPE等子空間學習算法的改造上面，通常會使算法性能獲得提高。

參考文獻：Learning a Spatially Smooth Subspace for Face Recognition

 

原文：https://blog.csdn.net/wsj998689aa/article/details/40303561