Atitit 圖像處理和計算機視覺的分類三部分圖像處理圖像分析計算機視覺

咱們所說的圖像處理實際上就是數字圖像處理，是把真實世界中的連續三維隨機信號投影到傳感器的二維平面上，採樣並量化後獲得二維矩陣。數字圖像處理就是二維矩陣的處理，而從二維圖像中恢復出三維場景就是計算機視覺的主要任務之一。這裏面就涉及到了圖像處理所涉及到的三個重要屬性：連續性，二維矩陣，隨機性。所對應的數學知識是高等數學（微積分），線性代數（矩陣論），機率論和隨機過程。這三門課也是考研數學的三個組成部分，構成了圖像處理和計算機視覺最基礎的數學基礎。若是想要更進一步，就要到網上搜搜林達華推薦的數學書目了。

1.2.2. 2. 信號處理

圖像處理其實就是二維和三維信號處理，而處理的信號又有必定的隨機性，所以經典信號處理和隨機信號處理都是圖像處理和計算機視覺中必備的理論基礎。

1.2.2.1. 2.1經典信號處理

1.2.2.2. 2.2隨機信號處理

1.2.2.3. 2.3 小波變換

1.2.2.4. 2.4 信息論

1.3. 4、圖像處理與分析

本章主要討論圖像處理與分析。雖而後面計算機視覺部分的有些內容好比特徵提取等也能夠歸結到圖像分析中來，但鑑於它們與計算機視覺的緊密聯繫，以及它們的出處，沒有把它們歸入到圖像處理與分析中來。一樣，這裏面也有一些也能夠劃歸到計算機視覺中去。這都不重要，只要知道有這麼個方法，能爲本身所用，或者從中獲得靈感，這就夠了。

1.3.1. 1. Bilateral Filter

Bilateral Filter俗稱雙邊濾波器是一種簡單實用的具備保持邊緣做用的平緩濾波器，由Tomasi等在1998年提出。它如今已經發揮着重大做用，尤爲是在HDR領域。

[1998 ICCV] Bilateral Filtering for Gray and Color Images

[2008 TIP] Adaptive Bilateral Filter for Sharpness Enhancement and Noise Removal

1.3.2. 2. Color

若是對顏色的造成有必定的瞭解，能比較深入的理解一些算法。這方面推薦岡薩雷斯的數字圖像處理中的相關章節以及Sharma在Digital Color Imaging Handbook中的第一章「Color fundamentals for digital imaging」。跟顏色相關的知識包括Gamma，顏色空間轉換，顏色索引以及膚色模型等，這其中也包括著名的EMD。

1.3.3. 3. Compression and Encoding

我的覺得圖像壓縮編碼並非當前很熱的一個話題，緣由前面已經提到過。這裏能夠看看一篇對編碼方面的展望文章

[2005 IEEE] Trends and perspectives in image and video coding

1.3.4. 4. Contrast Enhancement

對比度加強一直是圖像處理中的一個恆久話題，通常來講都是基於直方圖的，好比直方圖均衡化。岡薩雷斯的書裏面對這個話題講的比較透徹。這裏推薦幾篇我的認爲不錯的文章。

1.3.5. 5. Deblur (Restoration)

圖像恢復或者圖像去模糊一直是一個很是難的問題，尤爲是盲圖像恢復。港中文的jiaya jia老師在這方面作的不錯，他在主頁也給出了可執行文件。這方面的內容也建議看岡薩雷斯的書。這裏列出了幾篇口碑比較好的文獻，包括古老的Richardson-Lucy方法，幾篇盲圖像恢復的綜述以及最近的幾篇文章，尤以Fergus和Jiaya Jia的爲經典。

1.3.6. 6. Dehazing and Defog

嚴格來講去霧化也算是圖像對比度加強的一種。這方面最近比較好的工做就是He kaiming等提出的Dark Channel方法。這篇論文也得到了2009的CVPR 最佳論文獎。2這位003年的廣東高考狀元已經於2011年從港中文博士畢業加入MSRA（估計當時也就二十五六歲吧），至關了不得。

1.3.7. 7. Denoising

圖像去噪也是圖像處理中的一個經典問題，在數碼攝影中尤爲重要。主要的方法有基於小波的方法和基於偏微分方程的方法。

1.3.8. 8. Edge Detection

邊緣檢測也是圖像處理中的一個基本任務。傳統的邊緣檢測方法有基於梯度算子，尤爲是Sobel算子，以及經典的Canny邊緣檢測。到如今，Canny邊緣檢測及其思想仍在普遍使用。關於Canny算法的具體細節能夠在Sonka的書以及canny本身的論文中找到，網上也能夠搜到。最快最直接的方法就是看OpenCV的源代碼，很是好懂。在邊緣檢測方面，Berkeley的大牛J Malik和他的學生在2004年的PAMI提出的方法效果很是好，固然也比較複雜。在複雜度要求不高的狀況下，仍是值得一試的。MIT的Bill Freeman早期的表明做Steerable Filter在邊緣檢測方面效果也很是好，而且便於實現。這裏給出了幾篇比較好的文獻，包括一篇最新的綜述。邊緣檢測是圖像處理和計算機視覺中任何方向都沒法逃避的一個問題，這方面研究多深都不爲過。

1.3.9. 9. Graph Cut

基於圖割的圖像分割算法。在這方面沒有研究，僅僅列出幾篇引用比較高的文獻。這裏又見J Malik，固然還有華人傑出學者Jianbo Shi，他的主頁很是搞笑，在醒目的位置標註Do not fly China Eastern Airlines ... 看來是被坑過，並且坑的比較厲害。這個領域，俄羅斯人比較厲害。

1.3.10. 10. Hough Transform

雖然霍夫變換能夠擴展到廣義霍夫變換，但最經常使用的仍是檢測圓和直線。這方面一樣推薦看OpenCV的源代碼，一目瞭然。Matas在2000年提出的PPHT已經集成到OpenCV中去了。

1.3.11. 11. Image Interpolation

圖像插值，偶爾也用得上。通常來講，雙三次也就夠了

[2000 TMI] Interpolation revisited

1.3.12. 12. Image Matting

也就是最近，我才知道這個詞翻譯成中文是摳圖，比較難聽，不知道是誰開始這麼翻譯的。沒有研究，請看文章以及Richard Szeliski的相關章節。以色列美女Levin在這方面有兩篇PAMI。

1.3.13. 13. Image Modeling

圖像的統計模型。這方面有一本專門的著做Natural Image Statistics

1.3.14. 14. Image Quality Assessment

在圖像質量評價方面，Bovik是數一數二的。這位老師也頗有意思，做爲編輯出版了不少書。他也是IEEE的Fellow

1.3.15. 15. Image Registration

圖像配準最先的應用在醫學圖像上，在圖像融合以前須要對圖像進行配準。在如今的計算機視覺中，配準也是一個須要理解的概念，好比跟蹤，拼接等。在KLT中，也會涉及到配準。這裏主要是綜述文獻。

1.3.16. 16. Image Retrieval

圖像檢索曾經很熱，在2000年以後彷佛消停了一段時間。最近各類圖像的不變性特徵提出來以後，再加上互聯網搜索的商業需求，這個方向彷佛又要火起來了，尤爲是在商業界，好比淘淘搜。這仍然是一個很是值得關注的方面。並且圖像檢索與目標識別具備相通之處，好比特徵提取和特徵降維。這方面的文章值得一讀。在最後給出了兩篇Book chapter，其中一篇仍是中文的。

1.3.17. 17. Image Segmentation

圖像分割，很是基本但又很是難的一個問題。建議看Sonka和岡薩雷斯的書。這裏給出幾篇比較好的文章，再次看到了J Malik。他們給出了源代碼和測試集，有興趣的話能夠試試。

1.3.18. 18. Level Set

大名鼎鼎的水平集，解決了Snake固有的缺點。Level set的兩位提出者Sethian和Osher最後反目，實在讓人遺憾。我的覺得，這種方法除了迭代比較費時，在真實場景中的表現讓人生疑。不過，2008年ECCV上的PWP方法在結果上很吸引人。在重初始化方面，Chunming Li給出了比較好的解決方案

1.3.19. 19. Pyramid

其實小波變換就是一種金字塔分解算法，並且具備無失真重構和非冗餘的優勢。Adelson在1983年提出的Pyramid優勢是比較簡單，實現起來比較方便。

1.3.20. 20. Radon Transform

Radon變換也是一種很重要的變換，它構成了圖像重建的基礎。關於圖像重建和radon變換，能夠參考章毓晉老師的書，講的比較清楚。

1.3.21. 21. Scale Space

尺度空間濾波在現代不變特徵中是一個很是重要的概念，有人說SIFT的提出者Lowe是不變特徵之父，而Linderburg是不變特徵之母。雖然尺度空間濾波是Witkin最先提出的，但其理論體系的完善和應用仍是Linderburg的功勞。其在1998年IJCV上的兩篇文章值得一讀，不論是特徵提取方面仍是邊緣檢測方面。