騰訊雲大學大咖分享 | AIoT如何使能萬物智聯

時間 2019-11-08

標籤騰訊大學分享 aiot 如何使能萬物欄目騰訊简体版

原文原文鏈接

點擊觀看完整課程

伴隨着信息大爆炸和通信技術的發展，「AIoT」儼然成爲了當前科技和互聯網領域的一個熱門詞彙，各大知名廠商紛紛表示本身要佈局AIoT。到底什麼是AIoT？AIoT到底有些什麼優點呢？「騰訊雲大學」聯合「雲加社區」爲你們整理了大咖直播課《騰訊雲 AIoT 解決方案》的回顧，看看騰訊雲的IoT高級產品經理是如何理解AIoT的。算法

目前咱們已經處於一個萬物互聯的時代，隨着人工智能技術的發展以及技術之間的相互融合，咱們也想把萬物互聯轉換成萬物智聯。把原來的AI能力附着在通訊能力之上，就造成了AI+IoT的架構。如圖所示，左下角部分是物聯網通訊技術，右上角是雲上的AI推理平臺。傳統的解決方案都是相似這樣，把AI放在雲端，這樣的方案是否會存在不足之處呢？安全

試想一下，在家居或者是商務場景中，會有一些邊緣的攝像頭，咱們經過這些攝像頭得到視頻流數據，這些數據通過物理鏈接層、網絡接入層、IoT Hub或IoT Video等通訊渠道到達雲端，在AI推理平臺中進行推斷，推斷結束後再以相同鏈路返回邊緣側。這樣至少會帶來2大問題：高額的流量成本和遠程調用的高時延。這不由使咱們騰訊雲的團隊去思考如何改良這種方案。網絡

除此之外，咱們也接收到了不少不一樣的需求，但願在邊緣側快速實現AI的功能。好比在智慧工廠方面，一些客戶對分佈各地的企業工廠在聖餐過程當中的半成品、成品進行自動化的質量檢測。智慧零售方面，AI應用於普遍分佈式部署的無人貨櫃、商鋪智能導購等場景，須要迅速識別商品人員。架構

隨着技術的發展與融合讓邊緣AI落地成爲可能。容器編排技術通過4年時間的發展逐漸成熟，這種技術讓應用更容易地移植到雲端；AI加速芯片的出現使得邊緣智能設備的算力大幅提升並可靈活伸縮：不一樣AI計算框架讓AI應用開發者的上手門檻大幅下降，他們能夠更快地開發出應用；成熟的物聯網數據採集技術爲AI模型訓練輸入提供了良好基礎。框架

前面說了這麼多AIoT技術的發展和應用場景，以及咱們騰訊雲試圖去改善AIoT的背景。那麼，騰訊雲針對於目前AIoT的需求推出了什麼解決方案呢？運維

騰訊雲關於邊緣AIoT的解決方案是IoT EIDP。IoT EIDP與其餘物聯網組件、AI組件共築騰訊雲AIoT，具體結構以下圖。分佈式

IoT EIDP主要有如下6大特色：設備自動接入、脫機AI計算、豐富算法市場、快速二次開發、快速一鍵部署和主流硬件平臺。豐富的算法市場指的是集合了騰訊自有AI算法、第三方AI算法，知足不一樣客戶對不一樣邊緣場景下的需求ide

基於IoT EIDP的6大特色，能夠給用戶帶來更快速地數據相應，更低的帶寬和雲存成本，更便捷的系統部署與維護，以及一站式的AI算法選擇、硬件平臺選擇。微服務

爲了給用戶好的使用體驗，IoT EIDP採用了獨特的技術架構。首先咱們來看看整體架構，下圖虛線框內就是整體架構，主要分爲3個部分：應用與模型發佈工具、應用與模型分發平臺、邊緣網關/盒子軟件棧。應用與模型分發平臺會對用戶的應用、模型市場的應用、邊緣側設備進行管理。工具

接下來咱們來看看各部分的細節是怎麼樣的。應用於模型發佈架構有Docker管理、應用管理、可視化編輯應用、應用發佈4個功能，和應用與模型分發平臺架構的設備管理、應用管理、設備羣組管理、應用羣組管理4個模塊分別對應。

軟件棧的部分是邊緣AI能力的基礎，以容器引擎爲底座，能夠支持基於各種AI加速芯片的硬件平臺。容器之上是設備接入服務，支持各種協議接入，如MQTT、RTSP/RTP/RTCP等。再往上看，是核心服務和智能分析服務。智能分析服務中有一個AI中間鍵，讓用戶能夠根據本身的需求選擇不一樣配置的AI加速器。最上層的是模型應用服務和雲端鏈接服務，在模型應用服務推斷出結果後，經過窄帶和寬帶推流鏈接到雲端。除此之外，咱們還設置了安全服務。

邊緣側是怎樣實現邊緣AI的技術細節呢？首先是服務發現與註冊功能，會通過微服務啓動——服務發現——服務調用——健康檢查幾個環節。

在數據處理方面，咱們開放了至少15個模型，這些模型分爲兩類，一類是基礎模型，即咱們把模型能力進行抽象，提供簡單易用的SDK，實現整個推斷的流程。

另外一類是高階的AI數據的處理。邊緣AI軟件協議棧內置gRPC和RESTful API兩種調用方式，方便開發者在1分鐘內部署AI推理模型，同時，這個模型基於OpenVino中間件，能夠快速提高性能。

數據處理完以後就涉及到數據分發的流程了。分發流程集成IoT Hub的窄帶通訊能力，以及IoT Video的寬帶通訊能力，實現結構化數據輸出以及事件觸發聯動的視頻輸出。

前面有提到過，在邊緣側有一個垂直的安全的能力。這個安全的能力是指咱們會結合騰訊雲物聯網中心，運用一款TID的產品，它主要提供模型版權保護和邊緣設備身份認證兩個功能。

通常邊緣AI數據都特別大，有些用戶會擔憂若是直接分發到雲端的話，是否會形成大流量、大存儲的問題。確實可能會有這樣的影響，可是咱們在邊緣側採用的是Docker的技術，自然地運用了鏡像分層的原理，能使用同一個機組接納容器，共用同一塊數據空間，這樣能夠節省存儲。同時，基於設備預裝的Docker容器中間件，能夠將基於一樣AI中間件的應用模型，分發流量由平均2G降低到小於1G。