關於壓縮感知的一些小原理

　　壓縮感知（CompressiveSensing, or Compressed Sensing）或譯爲壓縮傳感，或者稱爲壓縮採樣（Compressive sampling），如下統稱壓縮感知，簡稱CS。

 

　　在壓縮感知的有關文獻中幾乎都在說「壓縮感知突破了傳統的Nquist/Shannon抽樣定理的限制，它摒棄了傳統壓縮系統先以Nyquist採樣速率採樣再壓縮的方法，而是邊採樣邊壓縮，即實現的再也不是模擬數字轉換(ADC)，而是模擬信息轉換(AIC)」。

 

 

　　Nyquist/Shannon抽樣定理：

 

　　抽樣定理是由奈奎斯特(Nyquist)和香農(Shannon)分別於1928年和1949年提出的，因此又稱爲奈奎斯特抽樣定理或香農抽樣定理。

　　注：以上內容摘自「胡廣書. 數字信號處理——理論算法與實現（第二版）[M]. 北京：清華大學出版社，2003.」

　　依照以上敘述，這裏我給出壓縮感知抽樣定理的內容（CS抽樣定理）：

 

　　對比Nyquist抽樣定理和CS抽樣定理，咱們會發現：Nyquist抽樣定理的前提是「信號x(t)是有限帶寬的，其頻譜的最高頻率爲f_c」，而CS抽樣定理的前提是「信號x(t)能夠在某變換域稀疏表示，其稀疏度爲K」，所以並非CS抽樣定理突破了Nyquist抽樣定理的限制，而是其信號可以重建的依據（K稀疏）與Nyquist抽樣定理（帶限）的不一樣，咱們能夠展開遐想：信號抽樣時咱們即不以帶限爲前提也不以K稀疏爲前提，而是基於一個其它合理的前提，那麼也許能夠提出更加有效的新抽樣定理。

 

---

 

　　compressive sensing(CS)又稱compressived sensing，compressived sample，大意是在採集信號的時候（模擬到數字），同時完成對信號壓縮，中文翻譯成壓縮感知，意思變得至少不太好理解了。理論自己是「經過對信號的高度不完備線性測量的高精確的重建」

 

　　 老式壓縮原理：把原始圖像表示爲不一樣「小波」的線性疊加，記錄顯著的（高強度的）小波的係數，放棄掉（或者用閾值排除掉）剩下的小波係數。

　　整體來說，原始的1024×2048圖像可能含有兩百萬自由度，想要用小波來表示這個圖像的人須要兩百萬個不一樣小波才能完美重建。可是典型的有意義的圖像，從小波理論的角度看來是很是稀疏的，也就是可壓縮的：可能只須要十萬個小波就已經足夠獲取圖像全部的可見細節了，其他一百九十萬小波只貢獻不多量的，大多數觀測者基本看不見的「隨機噪聲」。（這也不是永遠適用：含有大量紋理的圖像–好比毛髮、毛皮的圖像——用小波算法特別難壓縮，也是圖像壓縮算法的一大挑戰。）

　　接下來呢，若是咱們（或者不如說是相機）事先知道兩百萬小波係數裏面哪十萬個是重要的，那camera就能夠只計算這十萬個係數，別的就無論了。（對於單個係數的計算，能夠在圖像上應用一種合適的filter「濾波器」或叫mask「濾鏡/掩模」，而後計量過濾出來的每一個像素的色彩強度）可是，相機是不會知道哪一個係數是重要的，因此它只好計量所有兩百萬個像素，把整個圖像轉換成基本小波，找出須要留下的那十萬個主導基本小波，再刪掉其他的。（這固然只是真正的圖像壓縮算法的一個草圖，不過爲了便於討論咱們仍是就這麼用吧。）

 

　　 假設已知主要的小波係數，則有兩種可行的手段來恢復數據：

 　　•匹配追蹤：找到一個其標記看上去與收集到的數據相關的小波；在數據中去除這個標記的全部印跡；不斷重複直到咱們能用小波標記「解釋」收集到的全部數據。

Matching pursuit: locate a wavelet whose signature seems to correlate with the data collected; remove all traces of that signature from the data; and repeat until we have totally 「explained」 the data collected in terms of wavelet signatures. 就是先找出一個貌似是基的小波，而後去掉該小波在圖像中的份量，迭代直到找出全部10w個小波.

 　　•基追蹤（又名L1模最小化）：在全部與(image)數據匹配的小波組合中，找到一個「最稀疏的」基，也就是其中全部係數的絕對值總和越小越好。（這種最小化的結果趨向於迫使絕大多數係數都消失了。）這種最小化算法能夠利用單純形法之類的凸規劃算法，在合理的時間內計算出來。

Basis pursuit (or  minimisation): Out of all the possible combinations of wavelets which would fit the data collected, find the one which is 「sparsest」 in the sense that the total sum of the magnitudes of all the coefficients is as small as possible. (It turns out that this particular minimisation tends to force most of the coefficients to vanish.) This type of minimisation can be computed in reasonable time via convex optimisationmethods such as the simplex method.

 

參考來源：

http://blog.csdn.net/abcjennifer/article/details/7721834

http://blog.csdn.net/abcjennifer/article/details/7748833

http://blog.csdn.net/jbb0523/article/details/41595535