圖像識別深度學習嵌入式開發板比較

嵌入式AI主要用於圖像識別和語音識別，圖像識別主要用於工業、自動化、醫療等行業。以醫療行業爲例，因爲醫療保健行業大量使用大數據及嵌入式人工智能，進而精準改善疾病診斷、醫療人員與患者之間人力的不平衡、下降醫療成本、促進跨行業合做關係。此外嵌入式人工智能還普遍應用於臨牀試驗、大型醫療計劃、醫療諮詢與宣傳推廣和銷售開發。嵌入式人工智能導入醫療保健行業從2016年到2022年維持很高成長，預計從2016年的6.671億美圓達到2022年的79.888億美圓年均複合增加率爲52.68％。

多家半導體廠商已經推出嵌入式AI平臺，好比

• 華爲海思今年4月份發佈的Hi3559A，這個樣品超過100美金/片
• 集成寒武紀AI核（遺憾不是最新的版本，由於最近寒武紀又發佈最新的AI版本，同時還集成大名鼎鼎Cadence的 4核DSP）；
• 賽靈思Xilinx的FPGA—— Zynq 7020，ZU2CG開發難度大，價格不菲，還有其餘家的ARM+FPGA方案也不便宜，開發難度也不小；
• 英偉達的GPU——JETSON TX2，TX2核心板英偉達本身生產，價格太貴，不適合產品小型化生產；
• TI 的TDA2x系列和DAVINCI系列最新的DM505，以及後續的版本，專一輔助駕駛ADAS，他的64bit浮點DSP C66X+EYE也支持深度學習（不要小瞧EYE，深度學習一個EYE比2個C66X 浮點DSP還強），不過功耗過高，軟件資源也很差搞到，海掏買美國D3公司DEMO板價格不菲，並且沒技術支持開發週期過長,價格也不便宜。
• Intel的Movidius Myriad 2，在軟件資源方面,Intel推出神經計算棒的免費NCSDK，這個軟件資源讓不少公司看到嵌入AI領域的但願，不少公司都在嵌入式開發板樹莓派3上面加這個神經計算棒學習。
• 華爲海思Hi3516A/D + VPU和Hi3519V101+VPU，由於海思Hi3516A/D和Hi3519V101支持H.264/H.265編解碼，帶有ISP，還帶有一個IVE（智能視頻分析算法加速器，確切的說是傳統機器視覺算法加速器），而後再加上Intel Movidius 這個支持深度學習的VPU，就是上海速嵌智造的可深度定製開發的ARM+VPU深度學習平臺。也就是說同時支持傳統機器視覺算法+深度學習算法，並且還支持H.265編解碼。

• 海思Hi3516A/D和Hi3519V101的IVE支持的功能太過技術細節，將另文講述。

Movidius Myriad 2 VPU (Vision Processing Unit——視覺處理器)被稱做爲「第三次影像革命的開端」的芯片方案。Movidius 已經被Intel收購，Intel Movidius Myriad 2 VPU可在不一樣目標應用中提供低功耗、高性能的視覺處理解決方案，其中包括嵌入式深度神經網絡、位姿估計、室內導航、3D深度感應、3D製圖（3D掃描建模），視覺慣性測距，以及手勢/眼部跟蹤，基於深度學習的環境感知。
安防巨頭海康和大華把Movidius Myriad 2(MA2450)視覺處理單元應用於視頻監控攝像頭，在完成監控和錄製等傳統任務外，提供人羣密度監測、立體視覺、面部識別、人數統計、行爲分析以及檢測非法停放車輛等先進的視頻分析功能。Myriad 2爲大疆最近發佈的首款迷你無人機Spark提供了視覺智能技術，大批量生產。
這顆芯片被一分爲二，其中一部分有12個SHAVE 128位處理器，專爲影像處理負載作優化，每顆都運做在600MHz的頻率下，並且有超頻潛能，第一代的180MHz顯然是不夠看的；與這些處理器相匹配的是Movidius稱之SIPP過濾器（Streaming Inline Processing Pipeline filters）的硬件加速器——可完成一些預設的影像處理任務，好比未來自不一樣類型攝像頭的數據融合到一塊兒，或者將多個視頻內容接合到一塊兒；另外還有2個32位RISC處理器用於芯片管理，這就是LEON4(LEON是一款32位RISC處理器，支持SPARC V8指令集，由歐洲航天總局旗下的Gaisler Research開發、維護，目的是擺脫歐空局對美國航天級處理器的依賴。LEON的主要產品線包括LEON二、LEON三、LEON4)。SHAVE這一端對原始影像數據作計算處理，OEM廠商能夠選擇不一樣的方案；SIPP則可合力處理一般任務；集中型的寄存器結構令芯片兩側可同時對相同的數據作處理。這些對於下降延遲是至關有價值的。
鑑於這樣的架構設計，Myriad 2 VPU芯片面積是6.5mm，厚度1mm，具體的性能則是能夠48fps的幀率同時處理來自12個1300萬像素攝像頭的數據，以60fps拍攝4K視頻天然也是毫無壓力，功耗低於0.5W(臺積電28nm HPC工藝)。按照El-Ouazzane的說法，相比可以提供同等效果的GPU，Myriad 2的功耗低了最少10倍。
深度學習框架方面，支持Caffe,Caffe的全稱是Convolutional Architecture for Fast Feature Embedding，是一個清晰、高效的開源深度學習框架，核心語言是C++，支持命令行、Python和Matlab接口，既能夠在CPU上運行也能夠在GPU上運行。同時也支持Google的TensorFlow。因此C/C++、Python程序員能夠快速切入深度學習的架構去工做。前面提到的Intel Movidius神經元棒，包括他們提供的免費NCSDK軟件包，能夠知足那些C/C++程序員、Python程序員輕鬆在WIN下直接開發AI軟件，也能夠在ubuntu下直接開發軟件，很方便，而在嵌入式前端，一樣也能夠支持NCSDK軟件包，熟悉Caffe和TensorFlow應該很快上手進行算法優化和設計。
而2017年推出的Movidius Myriad X(MA2485)將提供十倍於Myriad 2一樣功率範圍內深層神經網絡(DNN)的性能。

嵌入式AI
嵌入式AI MA2485
Myriad X 有4個可C編程的128位VLIW矢量處理器和可配置的MIPI通道，並擴展了2.5 MB的芯片內存和更多的固定功能成像/視覺加速器。就像在Myriad X中發現的同樣，Myriad X的矢量單位都是專有的SHAVE (流混合的架構矢量引擎)處理器，對計算機視覺工做負載進行了優化。Myriad X也支持最新的LPDDR4，MA2085變體只配置了外部存儲器接口。
Myriad X的另外一個新功能是4K硬件編碼，4K在30Hz(H.264/H.265)和60 Hz(M/JPEG)支持。從接口上看，Myriad X帶來了USB 3.1和PCIe 3.0支持，這兩個都是Myriad VPU家族新支持的接口。與Myriad 2同樣，全部這些都是在同一個小於2W的功率範圍中完成的，更具體地說是在1W之內，使用臺積電16nm FFC工藝。因此說，在如此低功耗下就能完成不少視頻處理和深度學習，前面提到的幾個平臺根本沒法作到。
從目前前端圖像識別市場反饋的角度看，這個Myriad 2 VPU(MA2450) 和 Myriad X VPU(MA2485)芯片出貨量比較大。在開發板-學習板方面，樹莓派3+能夠直接拿神經計算棒進行深度學習算法開發。若是是產品設計，速嵌智造推薦ARM + VPU方案能夠快速定製開發出產品。咱們在HI3516D+VPU和Hi3519V101+VPU板上測試：