FPGA與圖像處理

---

 用FPGA作圖像處理最關鍵的一點優點就是：FPGA能進行實時流水線運算，能達到最高的實時性。所以在一些對實時性要求很是高的應用領域，作圖像處理基本就只能用FPGA。例如在一些分選設備中圖像處理基本上用的都是FPGA，由於在其中相機從看到物料圖像到給出執行指令之間的延時大概只有幾毫秒，這就要求圖像處理必須很快且延時固定，只有FPGA進行的實時流水線運算才能知足這一要求。

因此要了解FPGA進行圖像處理的優點就必須理解FPGA所能進行的實時流水線運算和DSP，GPU等進行的圖像處理運算有何不一樣。DSP，GPU，CPU對圖像的處理基本是以幀爲單位的，從相機採集的圖像數據會先存在內存中，而後GPU會讀取內存中的圖像數據進行處理。假如採集圖像的幀率是30幀，那麼DSP，GPU要是能在1/30秒內完成一幀圖像的處理，那基本上就能算是實時處理。

FPGA對圖像進行實時流水線運算是以行爲單位的。FPGA能夠直接和圖像傳感器芯片鏈接得到圖像數據流，若是是RAW格式的則還能夠進行差值以得到RGB圖像數據。FPGA能進行實時流水線處理的關鍵是它能夠用其內部的Block Ram緩存若干行的圖像數據。這個Block Ram能夠說是相似於CPU裏面的Cache，但Cache不是你能徹底控制的，但Block Ram是徹底可控的，能夠用它實現各類靈活的運算處理。這樣FPGA經過緩存若干行圖像數據就能夠對圖像進行實時處理，數據就這樣一邊流過就一邊處理好了，不須要送入DDR緩存了以後再讀出來處理。

這樣的數據流處理顯然是順序讀取數據的，那麼也就只能實現那些順序讀取數據的算法，也就是圖像處理中那一大類用3x3到NxN的算子進行的濾波、取邊緣、膨脹腐蝕等算法。可能你們會以爲這些運算彷佛都是最基本的圖像處理運算，只是個前端的預處理，彷佛用處不大。但問題是隻有FPGA作這樣的運算纔是速度最快效率最高的，好比用CPU作一個取邊緣的算法根本就達不到實時。另外別小看了這種NxN算子法，它能夠有各類組合和玩法，能夠實現分選多種顏色，甚至分辨簡單形狀等功能。FPGA進行的這種算子法處理是並行流水線算法，其延時是固定的，好比用3x3的算子進行處理其給出結果的延時是兩行圖像的時間。還有這個算子法和如今卷積神經網絡中最前面的卷積層運算是相似的。

---

FPGA中的Block Ram是重要和稀缺資源，能緩存的圖像數據行數是有限的，因此這個NxN的算子中的N不能特別大。固然FPGA也能夠接DDR把圖像緩存到其中再讀出來進行處理，但這種處理模式就和CPU差很少了，達不到最高的實時性。其實有些咱們認爲須要隨機讀取數據的圖像處理算法也是能夠並行流水線化的。

在密集運算中，耽誤時間和消耗功耗的操做每每不是運算自己，而是把數據從內存中搬來搬去。GPU，CPU在進行運算時要把數據從內存中取出來，算好了在放回去。這樣內存帶寬每每成了運算速度的瓶頸，數據搬運過程當中的功耗佔的比重也不會小。FPGA則能夠經過堆不少計算硬件的方法把要作的運算都展開，而後數據從中流過，完成一個階段的運算以後就直接流入第二個階段，不須要把一個計算階段完成後的數據再送回內存中，再讀出來交給下一個階段的運算。這樣就會節省不少時間和功耗。如今用FPGA作圖像處理就是這樣乾的，好比先用一個3x3的算子進行濾波，再用一個3x3的算子進行取邊緣，在FPGA流水線算法中，濾波處理完了數據當即就會進行取邊緣處理，是不須要像CPU那樣存回內存再讀出來的。

---

FPGA進行圖像處理的前景仍是挺廣闊的，愈來愈多的工業應用場合都要求更高的實時性，而這正是FPGA所適合的。還有機器學習領域，神經網絡這種層狀的，不須要很隨機的讀取數據的運算是比較適合用FPGA來作的。不過FPGA不擅長浮點運算，若是能整出不須要浮點運算的神經網絡，那麼FPGA在這方面的應用將會更大。

前些年用matlab和opencv作圖像處理。近一段時間經過FPGA處理攝像頭視頻數據，有太多感觸，複雜的算法先不說起，單是上面文章中提到的一些處理手段及策略，很是受用。

感謝來自知乎網的圖像處理討論。很是受益！

---

版權全部權歸卿萃科技 杭州FPGA事業部，轉載請註明出處

做者：杭州卿萃科技ALIFPGA

原文地址：杭州卿萃科技FPGA極客空間 微信公衆號

---

掃描二維碼關注杭州卿萃科技FPGA極客空間