嵌入式人工智能，理念仍是噱頭

在追尋 AI 商業化的道路上，人們逐漸發現，要實現技術的落地，不只須要性能優越的算法模型以及可靠的硬件支持，還須要把 AI 技術和硬件環境進行有機結合，再應用到具體的實際場景中，進而知足用戶的需求。

嵌入式 AI是當前 AI 落地途徑之一

所謂嵌入式，就是指一種可被內置於設備或裝置的專用計算機系統。一般來講，具備數字接口的設備都具備嵌入式系統，如手機、車載電腦、智能手錶等等。

而嵌入式 AI，則是一種讓 AI 算法能夠在終端設備上運行的技術概念。很簡單，換句話說，它的做用就是能讓音箱、手機、機器人等智能硬件在不聯網的狀況下實時完成環境感知、人機交互、決策控制等功能。

什麼樣的垂直場景更須要嵌入式 AI?

衆所周知，神經網絡包括模型訓練和推斷兩個過程。而一提訓練，就一定會涉及海量的數據輸入，計算規模也會根據場景複雜性的遞增而變得越發龐大。

所以，受到計算資源的限制，嵌入式端很難實現模型訓練的過程，也是咱們下面要說的「幾個挑戰之一」。

而在推斷環節，雲端推斷和嵌入式推斷，兩者訴求不一樣，所以也在不一樣的應用場景可以發揮本身的優點：

前者的好處是，可以承受高吞吐量並知足複雜計算對資源的要求，所以多用於深度學習模型和計算較複雜的狀況;然後者，則更多的應用於對「實時處理」有更高要求的場景中。

什麼是「實時處理」?咱們來舉個最實際的例子。無人駕駛汽車須要實時監測周圍環境，可是若是無人車忽然進入隧道，或者進入某個連不了網的環境中呢?

是的，駕駛場景複雜多變，並不能保證時刻都能有一個百分之百可用的網絡。所以，嵌入式 AI 憑藉其實時性優點及脫機運行的能力得以自動駕駛領域展示實力。

國內自動駕駛卡車技術研發公司圖森將來 COO 郝佳男就曾在接受採訪時表示：「從理論上講，在雲端處理傳感器信號並不可行，存在延遲和可用性問題。」

所以，信號的本地處理也是整個自動駕駛領域的一大訴求，由於設備端採集到數據後上傳到計算完成返回終端的過程會不可避免地帶來必定的延時，駕駛的危險係數也隨之提高。

而上海速嵌公司技術負責人在前天舉辦的嵌入式人工智能技術論壇上也提到了這一問題：「自動駕駛汽車每秒鐘能夠產生 1G 的數據，必須及時的、迅速的在本地來處理決策，不可能移到雲端。」

除了無人駕駛，在智能家居方面，試想一下若是用戶家中安裝了一個監控攝像頭，那麼把數據傳到雲端極可能會增長我的隱私泄露的風險。而因爲嵌入式 AI 是在本地處理數據，數據沒有上雲的過程，就能夠保證用戶的信息安全，免除沒必要要的麻煩。

除了這些特定的應用場景，一些 AI 技術公司對嵌入式 AI 也有着普遍的需求。而近來因鉅額融資引發普遍熱議的 Face++就是其中的一員。

他們在手機端作實名認證及人臉解鎖的時候發現，算法會不斷「吃」計算力。也就是說，即使計算力不斷增加，算法對計算力也老是處於「慾求不滿」的狀態。

其次是在攝像機端。他談到算法研發人員但願在作人臉識別的時候，可讓人臉在視頻中的檢測、抓拍環節在相機端實現。這樣一來，就能夠只傳輸有價值的信息，而非原始的大容量視頻，可以有效減小傳輸帶寬以及後端部署服務器的計算量及存儲量，讓系統的總體架構變得更加輕便。

「那麼，原本信息能夠存 3 個月，如今能夠存 3 年，這會帶來很是大的價值。」唐文斌補充道。

嵌入式 AI 挑戰也不少，AI 公司都是如何選擇的?

在把 AI 技術部署於終端設備的過程當中，嵌入式技術相當重要。簡單來講，這一過程須要對芯片進行全方位考量以評估芯片的性能，而後根據神經網絡算法作特殊化處理，「無縫對接」嵌入式設備的能力。「既沒有浪費運算單元，又最大程度地體現算法的精度，這是一個藝術活，也是技術活。」孫力如是說。

然而，把嵌入式 AI 從雲端遷移到終端卻並不是易事。孫力表示，目前嵌入式 AI 面臨三大挑戰，分別爲運算能力、功耗及散熱。這些也是經典嵌入式設備所面臨的問題。

此外，你還須要考慮算法新增的神經網絡處理單元與原有 DSP、GPU 計算架構的算法精度兩者之間的平衡問題，以及如何對傳統運算力較低的智能硬件設備進行升級，或者怎樣爲傳統硬件添加 SoC 以實現智能化轉型等等問題。

而這些也基本都與成本掛鉤。如何讓嵌入式 AI 展示出應有的商業價值，也是真實存在且亟待解決的問題。

在具體操做上，技術人員不只須要剪裁優化出最佳的計算模型並集成到移動設備上，還要保證操做系統向下驅動底層硬件，向上支持軟件算法，並且對於終端設備他們必須有深刻的理解。

「只有這樣，才能保證整個嵌入式 AI 算法模型經濟、高效的運算。」。

在創業初期，團隊覺得算法會是最大的門檻，結果發現整合能力的需求才是最高的。

「這也是美國有許多算法技術很強的初創公司都被蘋果這類大公司收購的緣由。」他解釋道，「由於，從算法到落地產品還有一個很遠的距離。」

爲了解決這些問題，業內目前主要採起三種實現路徑，分別是「壓縮算法模型」，「不斷挖掘硬件潛力」，以及「在壓縮模型的同時針對現有芯片進行優化」。

目前看來，第三種路徑是可以最快落地的。可是不管如何，優化到必定程度還會遇到瓶頸，仍是須要你轉過頭去提升硬件性能。

雲和端，你選擇哪個?

「端+雲」的將來發展趨勢已經很是明確。一些須要移動端提供快速響應能力的場景能夠選擇在移動端進行計算，而須要把海量數據匯聚在一塊兒，實現大規模數據挖掘與處理的狀況能夠放在雲端進行。

「不過，具體哪些放在雲端，哪些放在移動端，尚未一條統一的分界線，這也是留給咱們的一個問題。」。

「這裏面存在較多的組合方式，」抓取數據、理解數據、根據理解作出行爲決策等等環節能夠所有在硬件執行，固然也能夠部分給軟件、部分給硬件。

「不少感知計算涉及深度學習網絡，各家公司對這方面的硬件加速也有很深的理解。不過在決策階段，不少算法尚未定型，以無人車爲例，業界主要仍是基於規則的方法來作決策。」

咱們無需擔憂算法定型後，嵌入式 AI 的價值會減弱。速嵌智造認爲：「算法是沒有完美的，當這個算法趨於完美之時，你們會產生更多的需求，也會不斷有新的算法出現，你總會發現本身還有不少技術工做要作。由於技術是沒有窮盡的。」