雲計算的可信新邊界:邊緣計算與協同將來——【兩萬五千字長文】

摘要:伴隨雲計算的飛速發展,邊緣計算將迎來爆發式的增加 …

微服務架構的設計思想是把每一個核心的能力設計得更加內聚、更加獨立、能夠很小的依賴系統環境,能夠分散在各個機器、部署到容器,能夠靈活的編排和管理。技術的演進,系統架構的演變支撐了邊緣計算技術的誕生、落地和應用的可能。前端

物聯網和人工智能逐漸的發展,物已再也不單純是一個物,能夠聯網,能夠數據流動,而再也不固化、靜態。物與人,人與物,數據的流動、分析可更好的反饋於物、服務於人、反饋於環境,安全、有效、低時延的智能分析服務須要邊緣計算來支撐。node

通信技術的發展,5G的時代是萬物互聯、人、環境、虛擬和現實之間的場景,是客戶端節點接入數量和接入帶寬翻十倍、百倍甚至更多的場景,是海量數據由邊緣產生的場景。據IDC預測,到2025年全球聯接總數達到1000億,聯接的背後會是數據的爆炸,集中式處理模型下核心網沒法承載這麼大數據的網絡傳輸,數據也沒法在雲中心存儲計算,須要更快速、近距離的在網絡邊緣分析、處理與存儲,邊緣計算市場規模將達數十萬億元。linux

在現今的雲市場,雲計算的巨頭依託先發優點大力發展邊緣計算,將雲計算技術下沉到邊緣側,下沉的雲計算不必定非要由雲服務商來提供,大型IT服務商均可獨立開發邊緣框架,只要可以鏈接雲服務,誰均可以提供給邊緣服務。工業企業依託豐富的工業場景,也在開展邊緣計算的實踐;電信運營商爲迎接5G的市場機遇,全面部署邊緣節點,爲佈局5G基礎設施打好基礎。ios

伴隨雲計算的飛速發展,邊緣計算將迎來爆發式的增加 …web

邊緣計算【Edge Computing】

先看個例子瞭解下邊緣計算的特徵,章魚算法

是地球上最魔性的動物,也是非脊椎動物中最聰明的生物類羣之一,擁有巨量的神經元,60%分佈在章魚的八條腿上,僅有40%在大腦,所以它的觸角有獨立思考能力且反應敏捷,在捕獵時異常靈巧迅速,腕足之間配合極好,從不會纏繞打結,造成相似分佈式計算的「多個小腦+一個大腦」組合。數據庫

邊緣計算就比如章魚的觸角,類屬於一種分佈式計算,從雲端下沉到端口附近,也是計算的下沉,在靠近物和數據源頭的一側就地分析處理,融合網絡、計算、存儲、應用的分佈式開放平臺。提供最近端服務,更快服務響應,知足在實時、智能、安全與隱私保護等方面的基本需求。編程

維基百科中,邊緣計算被定義爲一種分散式運算架構,即將應用程序、數據資料與服務的運算,由網絡中心節點移往網絡邏輯上的邊緣節點來處理,將本來徹底由中心節點處理的大型服務加以分解,切割成更小與更容易管理的部分,分散到邊緣節點去處理。邊緣結點指的是在數據產生源頭和雲中心之間任一具備計算資源和網絡資源的結點。好比手機就是人與雲中心之間的邊緣結點,網關是智能家居和雲中心之間的邊緣結點。segmentfault

邊緣計算架構層次上分爲終端設備、邊緣、雲端三層,各層之間能夠進行層間和跨層通信。後端

終端層由各類設備組成,主要完成收集原始數據並上報的功能,以事件源的形式做爲應用服務的輸入。邊緣計算層由網絡邊緣節點構成,普遍分佈在終端設備與計算中心之間,邊緣節點的計算和存儲資源是差異很大的,且邊緣節點的資源動態變化,邊緣計算層經過合理部署和調配網絡邊緣側的計算和存儲能力,實現基礎服務響應。雲計算還是最強大的數據處理中心,邊緣計算層的上報數據將在雲計算中心進行永久性存儲,邊緣計算層沒法處理的分析任務和綜合全局信息的處理任務也仍然須要在雲計算中心完成。

亞馬遜開創了邊緣計算的先河,推出了AWS Greengrass功能軟件;微軟發佈了Azure IoT Edge邊緣側產品,將雲分析擴展到邊緣設備,支持離線使用,同時聚焦邊緣的人工智能應用;谷歌推出硬件芯片Edge TPU和軟件堆棧Cloud IoT Edge,可將數據處理和機器學習功能擴展到邊緣設備,使設備能對來自其傳感器的數據進行實時操做,並在本地進行結果預測。

國內阿里推出了Link IoT Edge平臺,經過定義物理模型鏈接不一樣協議、不一樣數據格式的設備,提供安全可靠、低延時、低成本、易擴展的本地計算服務;華爲推出了IEF平臺,經過將雲上應用延伸到邊緣的能力,聯動邊緣和雲端的數據,提供完整的邊緣和雲協同的一體化服務的邊緣計算解決方案。在製造業,海爾、樹根互聯等依託豐富的工業場景,推出了各自的雲邊協同平臺,幫助用戶快速構建工業互聯網應用,實現各種工業設備的快速接入…

邊緣計算具有六大特徵:低延時、自組織、可定義、可調度、高安全、標準開放。

邊緣計算 Vs 雲計算服務

雲計算是人和計算設備的互動,而邊緣計算則屬於設備與設備之間的互動,最後再間接服務於人。邊緣計算可處理大量的即時數據,而云計算最後能夠訪問這些即時數據的歷史或者處理結果並作彙總分析 …

雲計算的聚合服務模式


雲計算服務是一種集中式服務,全部數據經過網絡傳輸到雲計算中心進行加工處理。資源的高度集中與整合使得雲計算具有高通用性,可集中式解決計算和存儲問題。在萬物互聯背景下,網絡邊緣的設備數量和產生的數據呈爆發式增加,其聚合性服務模式沒法高效、即時處理邊緣側數據,顯示了此種模式的不足與場景適應性問題。

 實時性問題: 在須要精確到毫秒級的響應場景,時效性的延遲可能帶來不可預知後果。處理速度受制於網絡帶寬、中心計算能力、總計算任務量等多因素,請求至響應的鏈路累計時延可能形成沒法接受的處理時延。

 帶寬制約與不足:將大量邊緣側數據傳送至雲中心,產生巨大的網絡帶寬壓力。

 資源開銷、能耗過大: 傳輸的開銷,數據中心處理的任務、存儲的大幅增加,形成極多能源消耗,成爲限制雲計算中心發展的瓶頸。

 數據安全和隱私:數據與用戶生活密切相關,智能終端設備如室內智能攝像頭,將數據傳輸到雲端容易致使數據丟失或信息泄露等風險。

邊緣計算的不一樣之處

1) 因爲部署的邊緣站點更靠近終端用戶,傳輸更安全,數據處理更即時,有效改善了高延遲和鏈接不穩定的問題;

2) 可實現邊緣站點的大量擴展,將部署的邊緣設備分佈在相比於傳統大型數據中心而言更多的、不一樣的位置,有更多的節點來負載流量,使得數據傳輸速度更快。同時更分散的節點所產生的影響更小,解決了設備散熱問題;

3) 邊緣計算可能須要使用專門的硬件,好比用於AR/VR功能的GPU/FPGA平臺;

4) 掌握邊緣站點的具體位置及識別訪問連接在何處終止十分重要,一個須要靠近用戶進行運行的應用須要在正確的邊緣部位方可正常運行;

5) 邊緣計算架構中,整個應用池可被認爲是動態的。因爲其物理分離屬性,某些狀況下,邊緣站點將經過廣域網進行相互鏈接和核心鏈接,隨着時間加入或斷開;

6) 邊緣站點是遠程且無人操做,須要有對站點進行間歇性網絡訪問的相應工具來實現遠程管理;

7) 邊緣站點支持從大至數據中心,小至單個設備的不一樣站點數量和規模;

8) 邊緣站點可能受空間或電源要求等的資源限制,或向現有站點添加容量時也可能受到限制;

9) 一些用例須要大規模的多租戶

10) 減少了對網絡的依賴,離線狀態下也能提供基礎業務服務,確保「外部雲」域不會影響服務。

雲、邊計算的類似之處


邊緣計算相似於雲計算(數據中心),體如今:

1). 都包括計算、存儲和網絡資源;

2). 其資源可由用戶和應用共享;

3). 從資源池的虛擬化和抽象化受益;

4). 其發展得益於商品硬件的支持 ;

5). 使用API來支持互操做性.

二者歸於總體與局部關係


邊緣計算的出現是爲彌補現階段雲計算所面臨的一些短板,配合、促進雲計算的發展。邊緣計算與雲計算之間不是替代關係,而是互補協同關係。二者須要經過緊密協同工做才能更好的知足各類需求場景的匹配,從而放大邊緣計算和雲計算的應用價值。

邊緣計算可歸結爲廣義雲計算的一部分,泛指雲廠商爲客戶完成的IT服務,是雲計算的補充和延伸。簡而言之:雲計算把握總體,邊緣計算更專一局部。

雲計算擅長全局性、非實時、長週期的大數據處理與分析,可以在長期維護、業務決策支撐等領域發揮優點;而邊緣計算更適用局部性、實時、短週期數據的處理與分析,能更好的支持本地業務的實時智能化決策與執行,爲雲端提供高價值的數據。

若是說雲計算是集中式大數據處理,邊緣計算則可理解爲邊緣式大數據處理。不一樣的是數據不用再傳到遙遠的雲端,在邊緣側就能解決,更適合實時的數據分析和智能化處理,較單純雲計算更加高效且安全!二者實質上都是處理大數據的計算運行的一種方式。

邊緣計算中終端設備與雲計算中心的請求與響應是雙向的,終端設備不只向雲計算中心發出請求,同時也可以完成雲計算中心下發的計算任務。雲計算中心再也不是數據生產者和消費者的惟一中繼,終端設備兼顧數據生產者和消費者的角色,部分服務直接在邊緣完成響應並返回終端設備,雲計算中心和邊緣分別造成了兩個服務響應流。

邊緣計算的可信價值

邊緣計算是一種在網絡邊緣執行計算任務的新型計算模型,相比於雲計算,它可以節省網絡流量、提升響應速度和保護用戶隱私,在物聯網應用中顯示出了優於雲計算的性能。核心是將計算任務從雲計算中心遷移到產生源數據的邊緣設備上, 操做對象包括來自於雲服務的下行數據和萬物互聯服務的上行數據。隨着相關技術的發展,邊緣計算將成爲推進物聯網服務升級的關鍵技術。

邊緣計算的優點


1) 分佈式和低時延計算

整合了數據採集、處理、執行三大能力,避免了數據上傳下達所產生的時延弊端,提高了本地設備的處理能力和響應速度,帶來了綜合成本的減小、運維效率的提高。

2) 效率更高

因爲邊緣計算距離用戶更近,在邊緣節點處實現了對數據的過濾和分析,所以效率更高

3) 下降帶寬限制的影響

在網絡邊緣處理大量臨時數據,再也不所有上傳雲端,極大減輕了網絡帶寬和數據中心功耗的壓力

4) 更加智能化

AI+邊緣計算的組合出擊讓邊緣計算不止於計算,更多了一份智能化

5) 緩解流量壓力

在進行雲端傳輸時經過邊緣節點進行一部分簡單數據處理,可減小從設備到雲端的數據流量

6) 更加節能

雲計算和邊緣計算結合,成本只有單獨使用雲計算的39%。

7) 提升數據的安全性

邊緣計算將用戶隱私數據再也不上傳,而是存儲在網絡邊緣設備上,減小了網絡數據泄露的風險,保護了用戶數據安全和隱私。

8) 業務數據可靠性

基於安全的數據纔會有可靠的業務,邊緣計算自己不把數據傳向雲端,在廣域網發生故障的狀況下,也可以實現局域範圍內的數據服務,進而實現本地業務的可靠運行。

9) 應用開發多樣化

將來會有一半以上的數據在其源頭進行處理,也會有諸如工業製造、智能汽車、智能家居等多樣的應用場景,用戶能夠根據本身的業務需求自定義應用。

邊緣計算的能力

體現(不只限於)在如下方面.

1) 跨不一樣基礎設施間的一致操做模式

2) 在全球範圍內數千個地點的大規模分佈環境中的執行能力

3) 爲位於全球偏遠地點的客戶提供網絡服務

4) 知足應用程序集成、協調和服務的交付要求

5) 打破硬件限制,下降成本

6) 實現有限或間歇性網絡鏈接

7) 可處理具備嚴格低延遲要求的應用程序(AR/VR、語音等)

8) 實現地理圍欄,保證敏感隱私數據僅留在本地

邊緣計算的業務價值

主要體現對客戶端的減負和控制上,讓不少過去沒法想象的業務具備可行性。

1) 硬件設計更靈活

5G邊緣網絡可能比本地磁盤等零部件速度更快,這是從未有過的新變化。給客戶端作減負,最終用戶能感受到流暢度提高和電量提高,部分用戶還會爲此付費;能讓客戶端和邊緣端融合,甚至影響到硬件設計,好比買手機會考慮閃存空間比擴充內存合算,當文件從集中分散到就近邊緣,客戶讀取網絡文件的速度不比本地慢,就無需配置更貴的閃存。當網盤的數據大到沒法下載到手機時,客戶換新機時也得儘量用同一品牌同一帳戶遷移。給客戶端的計算壓力減負最終讓客戶端的硬件設計方式發生改變。對於手機來講,試水新硬件常是一次冒險,廠商在設計硬件時,如能夠將某些功能放到邊緣端,將會得到巨大靈活性。

2) 改變應用發佈生態

邊緣計算可從軟件控制層面改變整個客戶端軟件生態,技術上能夠將客戶端的運算功能所有放在邊緣端,本地僅保留一個視頻播放器。如此帶來客戶端的分發渠道的變化,也許困擾單機軟件幾十年的盜版問題可經過邊緣視頻化來解決。隨着邊緣APP的訪問流暢性逐步獲得驗證,邊緣視頻流自然比本地文件更保密安全和方便控制,各類在線系統的使用體驗會和本地軟件同樣。

3) 單一應用留住客戶

當一個APP能夠all in one其餘APP時,用戶的訪問軌跡不會跳出該APP,給產品運營提供了新的想象空間。如今用戶在某視頻APP裏作遊戲和電商引流,轉跳到電商和遊戲後APP就結束了,將來徹底能夠購買同同樣東西不出本APP,參與內購分紅、改變商業規則。

4) 對技術部門的價值

將CS架構改變CES架構,是具備價值並有挑戰的IT技術工做。

移動互聯網的發展歷程中,應用傳輸和娛樂化迫使成本在不斷增長,集中的雲計算又再次走向邊緣,經過在靠近物或數據源頭的網絡邊緣側,融合鏈接、計算、存儲、應用等核心能力,就近提供邊緣智能服務,知足行業數字化在敏捷鏈接、實時業務、數據優化、應用智能、安全與隱私保護等方面的關鍵需求。

"雲、邊、端"協同一體化

邊緣計算是對雲計算的拓展,二者關係就比如人類的"大腦"與"遍及全身的神經系統",相輔相成,缺一不可。做爲雲計算的延伸,邊緣計算本着「爲雲分擔」的任務和使命而運做,解決了在邊緣端的資源應用問題,成爲雲計算在將來發展中的重要支撐。「雲邊協同」成爲邊緣計算的核心能力與發展方向——邊緣向雲反饋信息,雲向邊緣發佈指令等,完成上傳下達,實現共存協同式的調度、命令、蒐集、處理、計算、更新等工做。

以物聯網場景爲例,物聯網設備產生大量數據,邊緣計算節點能夠負責本身範圍內的數據計算和存儲工做。因爲大多數的數據並不是一次性數據,那些通過處理的數據仍須要從邊緣節點匯彙集中到中心雲,中心雲作大數據分析挖掘、數據共享,並進行算法模型的訓練和升級,升級後的算法(推理模型)應用於前端邊緣節點設備,完成自主學習閉環。同時,存儲邊緣的數據具有備份的須要,當邊緣計算過程當中出現意外,存儲在雲端的數據也不會丟失。

協同一體化模式


「端」和「雲」的邊緣形態,涵蓋端的邊緣計算,而「雲」的邊緣計算是中心雲的拓展外延,可視爲邊緣節點服務,以此構建雲-邊-端三體網絡架構。

邊緣雲中大量、多種邊緣服務器和邊緣終端需經過邊緣雲來統一管理,並實現對邊緣應用的支持。中心雲則管理多個邊緣雲和爲邊緣雲提供充足的虛擬化資源,中心雲由大量的服務器虛擬化組成,可提供持久化存儲和爲須要大計算量的應用提供資源,如大數據,AI應用等。中心雲經過管理網絡來控制邊緣雲,並提供安全的鏈接。邊緣雲在網絡發生中斷時仍可經過獨立的資源管理系統進行「自治管理」。

中心雲與邊緣雲的關係如圖,中心雲管理多個邊緣雲平臺,工業PC和大量的網關,而邊緣雲則經過邊緣網關接入各類設備、傳感器等。

 雲計算是根本:縱觀幾大雲服務商的邊緣計算產品,從配置到部署,無一不是從雲端下發配置信息和工具到邊緣側,實現本地服務。

 核心框架屬於雲服務商: 雲邊一體的邊緣計算框架,本質上是下沉了一系列精簡的雲服務工具,而這些工具爲了保障通信的私密性,通常都掌握在雲服務商手中,用戶和開發者沒法修改。

 生態建設:圍繞雲邊一體化產品,全部的生態都必須先在雲端註冊,在雲端傳送數據後下沉到邊緣側,而互動的邏輯可經過無服務器計算服務實現。

經過雲原生技術可實現雲 - 邊 - 端一體化的應用分發,解決在海量邊、端設備上統一完成大規模應用交付、運維、管控的訴求;雲原生技術可提供容器等更加安全的工做負載運行環境,及流量控制、網絡策略等能力,可有效提高邊緣服務和數據的安全性;依託雲原生領域強大的社區和廠商支持,雲原生技術對異構資源的適用性逐步提高,在物聯網領域已能很好支持多種 CPU 架構(x86-64/arm/arm64)和通訊協議,並實現較低的資源佔用。

… …

多維度協同主體


當用戶從一個邊緣節點移動到另外一個就涉及多節點的協做,可簡單將數據緩存到用戶到達的各個邊緣節點,不過各節點的數據須要同步。如在一小片區域內導航應用能夠將導航或者搜索服務移動到邊緣;在邊緣節點進行內容過濾與整合從而減小數據傳輸量;實時應用如AR可使用邊緣節點減小反應時間。

雲邊協同包含雲端與邊端IaaS、PaaS、SaaS的協同,IaaS 實現對計算、網絡、存儲、虛擬化資源等的協同;PaaS 實現數據、智能、應用編排、業務管理協同;SaaS 實現應用服務協同。在IaaS資源、PaaS平臺、SaaS應用的協同基礎上還需考慮計費、運維、安全等方面的協同。雲邊協同的聯合式服務能充分利用二者的聯合優點,針對不一樣特徵的業務需求進行靈活的部署與響應。融入邊緣計算的雲邊協同聯合式服務將成爲更有效的服務構架。

邊緣協同任重道遠,需從多維度解決:

1) 鏈接協同: 鏈接設備數量的劇增,網絡運維管理、靈活擴展和可靠性保障面臨挑戰,以及如何兼容多種鏈接且確保鏈接的實時可靠是必需要解決的現實問題。

2) 數據協同: 統一數據鏈接和數據聚合是業務智能的基礎,解決多樣化與異構的技術和標準的問題,離不開跨廠商、跨領域的數據集成與互操做。

3) 任務協同: 任務的下達和反饋是實現應用場景功能的基礎,雲端面對海量的邊緣側設備和複雜的應用環境,如何將任務準確完整下達到邊緣側;邊緣側設備經過邊緣計算後,如何將有效信息整合到任務中進行反饋,是雲邊協同能力的重要指標。

4) 管理協同: 雲端如何對海量和異構的邊緣側設備的接入進行統一和有效的管理;如何對邊緣側設備和雲端的應用開發、生命週期、業務管理進行協同,確保邊緣側設備和運算能共同完成某應用場景的管理工做。

5) 安全協同: 邊緣側的設備和產生的數據接入雲端的安全和隱私如何保證,雲端如何抵禦來自邊緣側的攻擊,雲端下放到邊緣側的數據如何保證安全 …

6) 多方協同: 邊緣計算和雲計算協同應用場景愈來愈多,愈來愈複雜,如何在同一應用場景中實現雲邊、邊邊、多邊協同等多方協同方案,成爲需着重考慮的問題;如何統一不一樣應用場景中的雲邊、邊邊、多邊協同也是另外一個重要的方面。

協同以云爲中心逐層分散延伸,涉及到雲邊、邊邊和邊端三部分。

1) 雲與邊之間網絡有兩個關鍵點:虛實結合、動態選路,雲邊網絡就是回雲的安全和加速網絡。

2) 邊邊網絡需保障上層應用使用的邊緣節點之間數據傳輸透明且安全。涉及兩關鍵詞:Fullmesh和安全加速。Fullmesh表示邊邊網絡實現的邊緣節點之間的直接通信,無需經過中心繞道,是基於由衆多邊緣節點構建的分佈式傳輸加速網絡來克服互聯網的數據傳輸穩定性、跨運營商的傳輸速度瓶頸等問題。

3) 端-邊網絡:運營商本地接入網絡在用戶接入側,端側具備不可撼動的強大優點,因此邊緣計算必定要與運營商造成協力,基於運營商本地基礎設施網絡構建節點造成與端的鏈接,實現接入流程一體化,將更多計算能力匯聚。

雲原生向邊緣端複製

雲邊端協同一體化做爲一個標準化構想,分三個層次將雲原生能力向邊緣端複製:

 第一個是可以在雲端提供標準化的接口、管控能力,或是標準的雲服務和雲資源的接入能力.

 第二個是能高效的管理處在整個邊緣端的衆多資源,其中包括邊緣端應用的運維效率問題;

 第三個是典型的 IoT 場景中的端設備。

邊緣雲計算服務是將傳統雲計算與邊緣計算相結合,造成「雲-邊-端」協同的計算架構。邊緣計算的核心,是將計算任務從雲計算中心,遷移到產生源數據的邊緣設備上,較之傳統雲計算,其安全性更高、低時延、減小帶寬成本。邊緣計算和雲計算相互促進、共同發展、相互融合,在中心端學習,在邊緣端執行來處理複雜的問題,在處理好安全性、帶寬、複雜性等方面的問題後,雲邊協同勢必在生產中佔據舉足輕重的位置,大放異彩!

邊緣計算平臺的架構

伴隨行業發展,邊緣計算正在成爲雲計算的新邊界,而規模和複雜度的日益提高對邊緣計算的效率、可靠性、資源利用率等一系列能力提出了新的訴求,核心訴求包括:

 資源、應用管理訴求;

 容器化和微服務化;

 標準的 API 和工具鏈;

 安全,數據 / 信道加密和認證受權

 ……

訴求的背後是對邊緣計算平臺架構的目標問題和能力提出了指引,對雲邊協同一體化平臺的設計提出了指導方向:支持對物理世界具備系統和實時的認知能力,在數字世界進行仿真和推理,實現物理世界與數字世界的協做;基於模型化的方法在各產業中創建可複用的知識模型體系,實現跨行業的生態協做;系統之間、服務之間等基於模型化接口進行交互,實現軟件接口與開發語言、工具的解耦;框架能夠支撐部署、數據處理和安全等服務的全生命週期。

本章節如下部分從通用、分層技術架構,以及具體開源KubeEdge平臺展開.

通用平臺產品架構


雲邊協同的聯合式網絡結構通常可分爲終端層、邊緣計算層和雲計算層,各層可進行層間及跨層通訊,各層的組成決定了層級的計算和存儲能力,從而決定了各個層級的功能。

終端層由各類物聯網設備(如傳感器、RFID標籤、攝像頭、智能手機等)組成,主要完成收集原始數據並上報的功能,以事件源的形式做爲應用服務的輸入。

邊緣計算層由網絡邊緣節點構成,普遍分佈在終端設備與計算中心之間,能夠是智能終端設備自己(如智能手環、智能攝像頭等),也能夠被部署在網絡鏈接中(如網關、路由器等)。顯然,邊緣節點的計算和存儲資源差異大且動態變化,所以如何在動態的網絡拓撲中對計算任務進行分配和調度是值得研究的問題。邊緣計算層經過合理部署和調配網絡邊緣側的計算和存儲能力,開放API, 實現基礎服務響應。

雲計算是強大的數據處理中心,邊緣節點不穩定,核心數據、核心應用需存放雲端以確保應用的穩定、數據的安全,邊緣計算層沒法處理的任務和全局信息的處理也仍需在雲計算中心完成。除此,雲計算中心還可根據網絡資源分佈動態調整邊緣計算層的部署策略和算法。

通用架構模型


如圖所示,基礎服務層貫通整個框架,數據全生命週期服務提供對數據從產生、處理到消費的綜合管理。縱向來看,最上側是模型驅動的統一服務框架,實現服務的快速開發和部署。下側分爲設備、邊緣和雲層,邊緣層劃分爲邊緣節點和邊緣管理器。邊緣節點的形式、種類多樣,解決異構計算與邊緣節點的強耦合關係,下降物理世界帶來的結構複雜性,設備資源被抽象爲計算、網絡和存儲三種資源,使用應用API實現通用的能力調用, 控制、分析與優化領域模塊實現了上下層信息傳輸和本地資源規劃。邊緣管理器使用模型化的描述語言幫助不一樣角色使用統一的語言定義業務,實現智能服務與下層結構交互標準化。根據功能,提供了4種開發框架:實時計算、輕量計算、智能網關和智能分佈式系統,覆蓋從終端節點到雲計算中心鏈路的服務開發。

邊緣計算通用服務分層棧

在基礎設施之上,邊緣計算涵蓋四層技術棧,一是邊緣硬件和芯片,二是邊緣計算平臺或邊緣計算操做系統,三是邊緣中件間,四是面向邊緣的應用或服務。邊緣計算和雲、端造成一體化的協同模式,開放API賦能上層應用生態。邊緣計算的技術形態可劃分爲IaaS、PaaS和SaaS:

 IaaS: 主要在邊緣側提供資源虛擬化。創建大規模分佈式邊緣算力融合調度平臺,融合虛機、容器、函數、流式計算等計算形態,屏蔽各個邊緣硬件與網絡環境的異構差別,無縫支持各種邊緣資源,爲規模覆蓋的雲邊一體化計算提供底座能力支持。

 PaaS: 傳統虛機方式的運維成本每每居高不下,好比機器的地域分佈、網絡差別等會帶來不小運維成本,難以進行快速的業務切換調度。就須要有個邊緣場景的PaaS服務來幫助用戶管理和調度邊緣的資源,容器和K8s是一個不錯的架構選擇。

 SaaS: 服務種類較多,包括邊緣智能、邊緣應用市場、邊緣中間件(消息、緩存等)、邊緣軟硬一體機(數據智能、通用一體機等)。這些服務均可經過邊緣容器應用市場獲取。

 在基礎設施層,實際上是基於複雜的、異構的基礎設施進行資源拉通。

 在芯片/設備方面,邊緣計算採用通用、專用和自研芯片解決面向場景的計算成本問題;

 在邊緣計算平臺方面着力打造邊緣操做系統,提供三種計算形態(虛機、容器、函數)和三種交付形態(Server、Serverlet、Serverless),爲客戶營造一個利於使用的計算環境;

 對於邊緣中間件,從本來「內容分發的調度」轉變爲「計算的調度」,同時疊加AI、存儲等技術,逐步造成面向城市應用場景的獨特中間件能力;

 至於上層的邊緣應用及服務,則需結合整個生態和垂直行業夥伴共同推進技術進步。

硬件層提供的是物理機,硬件的網關包括AI盒子,可能只是一個很小部分,它須要組網也須要通訊的模組,包括智能硬件。再往上層是通用計算、GPU,包括簡單的PAAS,上面有一些目前本地計算須要的好比邊緣引擎、邊緣網關、調用中臺,定位爲邊緣計算平臺。再往上要承載整個邊緣計算提供的服務,這個服務有組件還有SAAS服務。再往上是整個智能運用的場景。

雲原生與邊緣計算

不管從邊緣應用的分發,可靠性仍是邊雲協同的機制上,雲原生邊緣計算有利於讓邊緣也具有像雲同樣的「彈性」,讓應用能夠「順滑」的部署到邊緣,保持應用在邊緣與雲端的一致性。「雲-邊-端」就像一個完美的總體,用戶無需感知邊緣設備的複雜分佈。

 經過將AI、大數據能力等延伸到邊緣,解決與雲上服務的數據協同、任務協同、管理協同、安全協同訴求。

 經過數據本地化處理、邊緣節點離線自治,解決了雲邊之間的網絡可靠和帶寬限制問題

 經過大幅優化邊緣組件的資源佔用,解決邊緣資源的約束問題

 經過在雲邊之間構建的雙向多路複用通道,解決從雲端管理高度分佈的海量節點和設備;

 南向支持對接物聯網主流通訊協議(MQTT,Bluetooth,Zigbee),解決異構硬件接入問題。

傳統嵌入式本地計算和雲原生邊緣計算的對比差別以下:

雲原生EdgePaaS架構


做爲雲上邊緣託管服務底座,支持海量邊緣網關節點接入,深度融合IoT雲端市場、雲端FaaS、消息、運維等服務。經過容器化和K8s的調度能力,傳統IoT業務擁有了強大的日誌、監控、自動擴縮容等運維能力,而且運維能力在雲中心匯聚。

阿里雲將邊緣計算當成雲計算總體的一部分進行規劃和設計,基於飛天系統構建。底層是資源層,上面是服務平臺,既可部署在運營商基礎互聯網裏,也可部署在客戶側。Link IoT Edge可以讓計算就近發生,是鏈接最後1千米的物聯網邊緣計算平臺,支持包括函數計算、流式計算、規則計算等計算引擎。發佈的鏈接最後10千米的邊緣節點服務(ENS),幫助用戶將計算、轉發等業務下沉至邊緣,下降了時延和成本。如可把終端到邊緣節點的時延縮小到5毫秒以內,終端到雲的訪問頻次將減小80%,計算、存儲、網絡等成本可節省30%以上。

雲原生是一個大的體系,作到真正的邊緣原生須要從理念、系統設計、架構設計等方面真正的去實踐、實現,才能充分發揮邊緣的優點。固然,邊緣雲平臺也要具有和提供更多的開放能力,造成整個正向的開發生態閉環。

KubeEdge平臺架構


華爲雲提出基於Kubernetes擴展的雲邊協同開源項目—KubeEdge, 在邊緣計算領域的佈局涉及「雲、管、邊、端、芯」。做爲一個智能邊緣平臺,KubeEdge包含邊端的計算節點部分和雲端的管理控制部分,其雲邊協同體如今:

1)基於WebSocket和Quic協議構建了可靠、高效的雲邊消息通訊,並做爲雲邊控制協同、數據協同的通訊基礎;2)擴展了Kubernetes,實現雲邊協同編排管理,包括基於雲端的邊緣控制器 EdgeController等控制Kubernetes API服務器與邊緣節點、應用和配置的狀態同步,支持直接經過kubectl命令行在雲端管理邊緣節點、設備和應用;3)提供了DeviceTwin 模塊,實現邊緣計算節點下掛的邊緣設備與雲端設備管理之間的同步和控制。

KubeEdge即Kube+ Edge,使能邊緣計算,依託K8s的容器編排和調度能力,實現雲邊協同、計算下沉、海量設備的平滑接入等,將K8s優點和雲原生應用管理標準延伸到邊緣。爲雲和邊緣之間的網絡,應用部署和元數據同步提供基礎架構支持。技術架構上分爲雲、邊、端三個部分,雲端負責雲上應用和配置的校驗、下發,同步Edge的狀態和事件;邊緣側負責運行邊緣應用和管理接入設備,接受並執行Cloud部分下發的指令,管理各類負載;設備端側運行各類邊緣設備。KubeEdge完整的打通了邊緣計算中雲、邊、設備協同的場景,總體架構以下圖。

Edged: 管理邊緣的容器化應用程序。

EdgeHub: 邊緣的通訊接口模塊,是一個Web套接字客戶端,負責邊緣計算與雲服務的交互。

CloudHub:雲端通信接口模塊,一個Web套接字服務器,負責監視雲端的更改、緩存以及向 EdgeHub發送消息。

EdgeController:管理邊緣節點,是一個擴展的Kubernetes控制器,管理邊緣節點和pod元數據,以便數據能夠面向特定的邊緣節點。

EventBus:使用MQTT處理內部邊緣通訊,是一個MQTT客戶機,可與MQTT服務器交互,爲其餘組件提供發佈和訂閱功能。

DeviceTwin: 是處理設備元數據的設備軟件鏡像,該模塊有助於處理設備狀態並將其同步到雲上。它還爲應用程序提供查詢接口,後端使用輕量級數據庫(SQLite)。

MetaManager: 管理邊緣節點上的元數據,是Edged和Edgehub之間的消息處理器,還負責在輕量級數據庫(SQLite)中存儲/檢索元數據。

極致優化,All in K8s

因爲邊緣場景通訊的不穩定性和嚴苛的資源消耗限制,致使原生的K8s組件沒法直接運行在邊緣節點上,例如:工業網關等。而受限於K8S自己list/watch機制帶來的disconnect問題,數據面和管理面斷連後,沒法作到本地自治。KubeEdge選擇「輕邊緣」架構,即邊緣側的容器引擎和設備管理agent儘可能輕量化,管理面運行在雲端,且構建在K8s的調度能力之上,兼容K8S原生API。KubeEdge all in K8s的設計理念使得用戶能夠圍繞K8S的標準API定製需求或輕鬆集成雲原生生態中的成熟項目。

ServiceMesh到EdgeMesh

服務網格已演變爲雲原生堆棧的重要組成部分。在雲原生模型中,單個應用程序可能包含數百個服務,每一個服務可能有數千個實例,且這些實例中的每個均可能處於不斷變化的狀態,合理管理使用ServiceMesh對於確保端到端的性能和可靠性相當重要。當純粹的計算在邊緣轉向雲邊協同,以雲原生的方式構建一個跨越邊緣和雲端的分佈式系統相當重要:

 邊緣應用須要有完善的微服務治理能力,以知足日趨複雜的邊緣業務模型;

 邊雲、邊邊的協同成爲邊緣應用的基本要求,以知足海量邊緣數據的處理。

使用EdgeMesh可支持跨越邊界的微服務訪問,EdgeMesh特性基於標準的Istio進行服務治理控制,引入EdgeMesh-proxy負責邊緣側流量轉發以及P2P技術跨子網通訊,提供雲-邊、邊-邊通訊,最終實現跨越邊雲的一致的服務發現和訪問體驗。

邊緣設備訪問微服務化

Kubernetes提供的設備插件框架, 旨在經過Kubelet管理「綁定」在節點上的硬件,如:GPU、FPGAs、InfiniBand等,爲Pod中的容器應用提供更強的計算和網絡性能。而KubeEdge的設備管理關注的是與邊緣通訊的外部設備,如:藍牙終端、智能傳感器、工業設備等。KubeEdge對設備管理的實現採用Operator方式,並實現了設備孿生。設備管理Operator的核心是Device CRD和Device Controller,其中Device CRD用來描述設備的狀態等元數據,Device Controller運行在雲上,負責在雲和邊之間同步設備狀態的更新(包括設備實際狀態和用戶設定的指望狀態)。

雲邊通訊

涵蓋cloud端的cloud Hub與edge端的Edge Hub,兩個模塊之間經過websocket或quic通訊,至關於創建了一條底層通訊隧道,供k8s和其它應用通訊。重點保障當之間的鏈路都沒法保障時業務不受影響,這就是MetaManager須要解決的問題。

CloudHub

cloud端的cloudHub是一個隧道的server端,用於大量的edge端基於websocket或者quic協議鏈接。支持獲取消息上下文和爲事件構建 channelQ對象,支持從edge讀和向edge寫入消息,以及發佈消息到controller。

EdgeHub

位於edge端運行,是隧道的client端,負責將接收到的信息轉發到各edge端的模塊處理;同時未來自個edge端模塊的消息經過隧道發送到cloud端。

Route To Cloud / Edge

邊緣端

Edged

經過讀取metaManager和EdgeController的pod任務列表,來執行對本地pod的操做,管理其生命週期。pod關聯的configmap和secret也會隨着處理pod的過程而一併處理。保障cloud端下發的pod以及其對應的各類配置、存儲(函數式計算)能在edge端穩定運行,並在異常以後提供自動檢測、故障恢復等能力。

EventBus/ServiceBus/Mappper

設備相關的設備管理側,支持外部以MQTT和Rest協議接入,對應EventBus和ServiceBus。EventBus是一個MQTT broker客戶端,主要將edge端各模塊通訊的message與設備mapper上報到MQTT的event作轉換;而ServiceBus對應Rest接入時的轉換。IoT的各類設備可能直接支持MQTT,但有的只支持藍牙或其餘近場通訊協議。Mappper能夠實現將各類協議轉換爲對MQTT的訂閱與發佈,從而實現與edge端的通訊。

Eventbus消息交換

Mapper Engine

爲避免edge引入大量處理邊緣設備通訊代碼,同時保持整個項目良好的易定製性,KubeEdge設計了一個邊緣設備驅動統一管理引擎Mapper,一個用於鏈接和控制設備的應用程序,支持設備終端經過藍牙、ModbusTCP、ModbusRTU協議與Edge平臺通信。Mapper做用如同CRI之於K8s,CRI做爲Kubernetes定義的容器接口與底層容器引擎打交道,而Mapper做爲一個開放接口方便不一樣的設備協議接入KubeEdge這個邊緣計算平臺。有了Mapper的解耦層,用戶可方便地根據實際須要開發本身的Mapper來實現與特定設備的通訊。

MetaManager

在edged和edgehub之間的消息處理器,對應一個本地數據庫(SQLite),其餘模塊需與cloud端通訊的內容都會被保存到本地DB中,當需查詢數據時,若是本地DB中存在該數據就會從本地獲取,避免了與cloud端之間頻繁的網絡交互;在網絡中斷的狀況下,本地的緩存數據也能保障其穩定運行(如智能汽車進入到沒有無線信號的隧道中),在通訊恢復以後,從新同步數據。

示例:Insert Operation

DeviceTwin

「數字孿生」指對接入設備信息的特徵描述。DeviceTwin就是將這些信息保存到本地DB中,並處理基於cloud端的操做來修改device的某些屬性(即操做設備);同時,將設備基於eventBus上報的狀態信息同步到本地DB和cloud端。

雲端Controller

包括用於edge端與API-Server同步信息的edgeController與用於DeviceTwin與API-Server同步device CRD信息的deviceController組成。

Edge Controller

1) Sync add/update/delete event to edge

2) Sync watch and Update status of resource and events

3) Creates manager Interface

 Manager defines the Interface of a manager, ConfigManager, Podmanager, secretmanager implements it

 Manages OnAdd, OnUpdate and OnDelete events which will be updated to the respective edge node from the K8s-Api-server

 Creates an eventManager(configMaps, pod, secrets)

Device Controller

負責設備管理,使用CRDs來描述設備元及狀態信息,在edge和cloud之間保持同步。設備控制器使用設備模型和實例來執行設備管理工做,如把用戶設定的設備孿生指望狀態和配置下發到邊緣,而在邊緣的組件則要接收並處理這些信息。KubeEdge設備管理的工做流程以下圖所示:

Downstream Controller

The downstream controller watches for device updates against the K8S API server, Synchronize the device updates from the cloud to the edge node.

Syncing Desired Device Twin Property Update From Cloud To Edge

The device controller watches device updates in the cloud and relays them to the edge node. These updates are stored locally by the device twin. The mapper gets these updates via the MQTT broker and operates on the device based on the updates.

Upstream Controller

The upstream controller watches for updates from the edge node and applies these updates against the API server in the cloud. Synchronize the device updates from the edge node to the cloud using device twin component.

Syncing Reported Device Twin Property Update From Edge To Cloud

EdgeSite: 邊緣側獨立集羣

在邊緣測,業務場景須要配置一個獨立完整的集羣, 管理者或用戶能使用本地控制面來執行管理功能和充分利用全部邊緣計算的優點。EdgeSite用於幫助在邊緣側構建輕量化的集羣。

Architecture Design

Advantages

1) Full control of Kubernetes cluster at edge

2) Light weight control plane and agent

3) Edge worker node autonomy in case of network disconnection/reconnection

4) All benefits of edge computing including latency, data locality, etc.

運維與監控

爲提高運維效率,當邊緣節點面臨異常事件或故障時需及時響應,邊緣節點與雲監控產品對接,把邊緣節點裏採集到的日誌和事件同步給雲監控,由雲監控造成與用戶系統的標準化對接、通知、告警。同時用戶系統可經過API管控邊緣節點服務實例和資源,實現整個運維體系的閉環。雲監控支持對節點網絡事件、割接事件、實例狀態和遷移的通知,支持節點網絡MTR指標、實例資源佔用指標等自定義閾值報警,並可經過IM、郵件、短信等通道觸達用戶,全面賦能邊緣節點服務極簡、高效運維。

應用場景及適應性分析

邊緣計算、雲計算與5G商用的融合,支持海量機器通訊,促進以智慧城市、智能家居等爲表明的典型應用場景與移動通訊深度融合,正加速推進工業互聯網、能源、自動駕駛、安防監控、農業生產、醫療保健、零售、物聯網等領域相關技術在垂直行業中的應用和落地。對於大部分邊緣計算業務,雲邊協同的業務需求廣泛存在。

邊緣計算主要應用場景

新零售應用

可爲門店、物流點提供安防視頻解決方案,低成本接入不一樣廠商設備,提供實時預覽、錄製回看、截圖、分析等能力,實現了視頻安防雲聯網,提升了工做效率,促進生產安全,減小盜損資產損失. 同時,邊緣計算提供的視頻AI計算能力,支持計算資源彈性擴容知足業務突發增加,下降大量本地部署、運維和管理成本。新零售場景下的視頻監控,產生了大量的視頻,經過邊緣節點一系列處理後將結構化數據發送到中心,節約成本,大幅縮短處理時間.

移動互聯網的發展讓咱們得以在移動端流暢的購物,咱們的購物車以及相關操做都是依靠將數據上傳到雲中心才能得以實現。若是將購物車的相關數據和操做都下放到邊緣結點進行,將極大提升響應速度,加強用戶體驗,經過減小延遲來提升人與系統的交互質量。

邊緣計算與交通

設備鏈接到邊緣節點,能夠作數據的清洗分發,包括數據建模、機器學習,能夠實現本身的應用。這個過程很是短且延時很低,直接網絡相連。好比說收費、停車這類監控狀況。

舉個例子,好比如今須要AI的一個最新算法,是一個車輛預測的。在可能有1000個車輛預測的節點布了邊緣節點,如今只要在雲端把這個算法訓練以後,一鍵同步到全部的邊緣計算節點,能夠立馬更新算法,能夠在最近的邊緣節點作計算的更新,涉及多數據源的融合、實時的分析、集中管理包括數據打通。

車路協同是智慧交通的重要發展方向之一,涉及車內邊緣計算、道路邊緣計算、車路協同雲等方面,雲邊協同可從多方面提供車車、車路動態實時信息交互,並開展車輛主動安全控制和道路協同管理。在自動駕駛方面,成千上萬的自動駕駛數據上傳到雲端,在雲端進行圖像分析,並進行機器學習,完善汽車AI能力,當汽車停放或未被使用時,汽車AI從雲端獲取系統和導航地圖等更新信息,同時雲端與交通控制系統和其它智慧城市基礎設施鏈接,這些信息也會同步下載到汽車終端,完善汽車終端系統。例如百度智能汽車經過基礎雲服務、用戶APP、地圖數據、OEM方案,打造HMI人機交互平臺,提供自動駕駛系統解決方案。

在線教育場景

5G時代帶來的是一場視頻傳輸的革命,高質量視頻通話使在線互動變得更加觸手可及,能最大限度還原線下教學的真實感,同時更高清晰度的互動課堂中,教師能夠對學生起到更好的觀察和督促做用,使學習效率和效果雙重提高。藉助於雲計算、邊緣計算、實時音視頻通訊以及直播平臺、AI等技術,無論學生在任何地點,只要有手機或電腦,在線教育平臺就能夠把最優秀的老師帶來他的身邊.

智能建築、家居

智能網聯技術的興起,不管是辦公室、零售店、工廠仍是醫院,智能建築都變得更加高效、溫馨、便捷,爲居住者帶來獨特的體驗。智能建築將自動化操做與空間管理相結合,可有效加強用戶體驗、提升生產力、下降成本以及網絡安全風險。建築物生命週期中75% -80%的成本與其後期運營有關。如今不少商業住宅和辦公大樓都有自動化控制或管理系統,例如通暖、中央空調以及嵌入傳感器的智能照明系統等,它們都能與雲平臺或邊緣層級的主系統交互。

雲邊融合正走入家庭,逐步促進智能家庭場景的實現。家庭網關、智能終端等邊緣計算節點可處理大量異構數據,再將數據上傳至雲平臺。在智能家居中除了可鏈接的設備,還可在房間、管道、地板、牆面等部署大量傳感器和控制器。將來,智能家庭將不侷限於智能家居,還能與家庭醫療、家庭安防等相結合。雲邊協同使電器控制、安全保護、視頻監控、定時控制、環境檢測、場景控制、可視對講等家庭智能化功能得以實現,同時使政務、醫療、教育等產業進一步豐富家庭智能化信息服務成爲可能。

智能安防、監控

視頻安防監控中經過在邊緣的視頻預分析和AI推理執行,實現視頻監控場景實時異常事件的感知及快速處理,而在雲端發揮雲端算力、開發工具的優點,完成AI模型的訓練以及AI分析應用的開發並按需下發給邊緣部署。邊緣計算與AI、雲計算的結合能在前端實現本地決策、實時響應,執行人臉識別、車牌識別、行爲檢測等多種本地應用。

工業互聯網場景

工業互聯網發展正進入快車道,經過設備互聯、多類型傳感器和邊緣計算,實現數據採集、處理,達到雲邊協同式傳輸和處理效果,愈來愈多的工業互聯網場景對雲計算在邊緣端的特殊需求逐步增多。針對預測性維護,除了雲端的統一控制外,工業現場的邊緣節點必須具有必定的算力,可以自主判斷並解決問題,及時檢測異常狀況,更好的實現監控,在提高工廠運行效率的同時也能預防設備故障問題。企業經過邊緣端將處理後的數據上傳到雲端進行存儲、管理、態勢感知、信息的融合;同時,雲端也負責對數據傳輸監控和邊緣設備使用進行管理。

一些大型工業企業已着手建設一站式雲邊協同平臺。如海爾COSMO-Edge平臺提供多元的邊緣設備接入能力與邊緣計算能力,提供設備即服務的應用模式,幫助用戶快速構建工業互聯網應用,實現數字化生產;長虹IMES平臺在工廠網絡邊緣層實現工業現場的數據接入,提供數據採集、數據分析等服務,構建雲-邊協同化的生產管理體系。

移動邊緣計算

MEC最初指移動邊緣計算,後來概念擴展爲多接入邊緣計算。MEC是電信蜂窩網絡與互聯網深度融合的縮影,經過MEC可較好地下降移動設備與服務器之間的時延,提高遊戲、視頻和基於數據流的互聯網內容的用戶體驗。5G架構從設計之初將邊緣計算做爲關鍵環節,5G時代業務處理功能依託邊緣計算下沉到基站,數據傳輸時延可大幅下降。目前運營商正在加速推動MEC部署。

城市大腦場景

城市計算將會是邊緣計算的最大場景,紮根於城市服務好本地應用,如社區、園區、運輸中心、學校小區、商超、行政中心等,可充分發揮邊緣計算的價值。將來城市將存在大量攝像頭、傳感器,如何把這些數據及時分析,對城市治理造成幫助是一個很是大的命題。好比在市政、交通場景中,把從學校、餐飲、醫院的數千萬攝像頭採集的視頻匯聚、傳輸到城市邊緣計算平臺,數據在邊緣節點進行有效收斂、AI及結構化處理,關鍵性數據再回傳到中心雲。

計算下沉邊緣的模式比直接上公有云能夠很好節省回源帶寬,相比專有云能夠提高交付效率和下降運營成本。在某些典型場景中,網絡帶寬成本佔的比例是佔到57%,這是很是大的成本,通過邊緣計算的數據收斂以後,帶寬能夠作到原來的5%,對總成本節省能夠到54%。

解決交通、醫療、健康、新零售這類場景的業務訴求,有兩種思路,一種把計算設施放在商超、工廠、企業裏,這種爲重資產模式;另一種是雲模式,把計算設施放在基站以上並向企業提供服務。阿里雲在佈局邊緣計算的時候重點依託CDN的點位優點佈局基站以上的邊緣計算,後續經過引入MEC資源,充分釋放計算紅利,讓企業能夠輕裝上陣。目前阿里雲已完成國內30多個省份300+邊緣計算節點的全域覆蓋。

其它典型場景

 能源:電力、石油石化等傳統能源行業中,信息化接入設備多、信息量大、業務週期峯值明顯,雲計算技術的虛擬化、資源共享和彈性伸縮等能更好處理對象普遍及業務峯值問題。邊緣計算能在偏遠、極端環境下進行本地處理,並將加工後的高價值數據與雲端交互。

 農業生產:雲邊協同可推進農業供給端的變革,由經驗主導向數據主導轉變,經過智能化手段將人的經驗傳遞給機器,經過數據挖掘,可發現新的生產規律和農業商品優化的新空間。

 醫療保健:藥師直接且負責任地提供與藥物治療相關的服務,目的是達到改善病人生命質量的確切效果,雲邊協同從實時本地數據分析、數據斷點續傳、數據安全傳輸等方面讓醫生爲患者提供更快、更高的護理。

 邊緣AI: 將來設備無需一直鏈接雲端來完成AI運算,實現「智能邊緣計算」。邊緣人工智能做爲不可缺失的支撐技術將取代一部分雲平臺功能。亦可採用混合方式,一部分由設備自身執行AI計算,另外一部分經過雲平臺完成。算法開發者經過標準化的AI服務模板,模型託管、資源託管、一鍵完成AI在邊緣的應用。

 雲桌面、雲遊戲:也屬本地化很強的業務場景。邊緣計算可大幅下降企業平臺在IT設施上的投入,簡化運維管控。新時代的雲遊戲利用雲邊協同快速擴張,遊戲研發、硬件設備商、通訊設備商、遊戲平臺將基於自身優點從不一樣角度切入,實現萬億雲遊戲市場突破。

 CDN 結合邊緣計算:向下一代內容分發平臺演進,將vCDN 下沉到運營商的邊緣數據中心,下降響應時延、下降延遲卡頓,提高Qos指標,提升用戶體驗。

 . . .

場景適應性分析

不一樣邊緣計算系統具備不一樣的需求和均衡,決定了適合該應用場景的最佳形態。如下給出一組參數並分析了典型邊緣計算平臺在這組參數下的特色和性能。

1) 鄰近度:邊緣層與設備層之間的鄰近度包含兩層含義。一是邏輯上的鄰近度,表明邊緣層基礎設施與終端設備之間的路由跳數,跳數越多表明路由中遭遇擁塞的機會越大,延遲增長的可能性也越大。二是指物理上的鄰近度,取決於終端設備與邊緣層的物理距離和邊緣計算設備的性能。若是在單個邊緣計算節點的一跳服務範圍內,存在大量終端設備且已超過單個邊緣計算節點的服務容量,將致使邊緣計算設備拒絕服務,帶來大量服務延遲。

2) 接入方式:設備到邊緣層的鏈接方式有多種,如Wi-Fi、藍牙、蜂窩網絡和有線鏈接等。接入方式決定了終端設備到邊緣計算層的帶寬、延遲、鏈接範圍以及對鏈接的設備類型。

3) 環境感知:是將網絡參數和周圍設備的位置信息暴露給附近的邊緣節點,是物聯網應用的一個關鍵參數。移動邊緣計算服務器經過放置在無線網絡控制器附近,實現檢測網絡的鏈路情況、負載以及帶寬,接收終端設備的位置信息,所以其感知能力極強。

4) 功耗:若是終端設備處於資源受限的環境中,能耗將是邊緣計算的一個重要參數。蜂窩網絡帶來的能量消耗遠高於Wi-Fi的能量消耗,所以移動邊緣計算的能量消耗高於Cloudlet。能夠根據需求在多種接入方式中靈活選擇,實現最優的能耗表現。

5) 計算時延和服務能力:直接取決邊緣計算節點的計算能力和資源調度策略。移動邊緣計算和Cloudlet採用資源豐富的專用主機做爲服務節點,具備顯著優點。EdgeX Foundry經過容器和GO語言的輕量級特性,兼容不一樣性能設備,並按需提供計算服務。

6) 部署與運維:在邊緣計算平臺的管理和監督中,每一個平臺均遵循分層管理方法,一般監督節點做爲代理,負責與底層節點通訊並收集底層節點可提供的資源和狀態。但不一樣邊緣計算平臺在代理設置和分層的界定均有不一樣。

邊緣計算的機遇與挑戰

隨着5G及互聯網智能終端設備數量的急劇增長和數據、業務下沉的訴求增多,邊緣計算規模和業務複雜度已發生很大變化,邊緣智能、邊緣實時計算、邊緣分析等新型業務不斷涌現。

邊緣是一個相對雲計算中心的概念,意味着邊緣計算的網絡覆蓋面廣,須要多種資源的協同工做,而且須要與雲計算架構實現良好的對接,於是面臨着衆多挑戰。

邊緣設備種類多且數據協議相差大。好比Modbus、OP CUA包括DL645,在邊端硬件規格不一樣,ARM的、X86的包括各類各樣的AI盒子;體系結構也不一樣,整個的操做系統其實也不一,軟件基礎環境不一樣;還有物理環境,可能在家,工廠或隨便某個地方;網絡環境也會有大不一樣,邊緣計算現運行環境大多爲弱網環境,網絡不穩定致使丟包,如何去兼容;通訊協議多,怎麼適配這些協議;公有云的能力如何快速跟邊端打通,去保證邊端的易用性,這個對架構是一個很大挑戰。

對大規模資源平臺的運營和運維支撐,將複雜度、穩定性等問題封裝,實現上層業務透明化對邊緣計算來說也十分重要。邊緣計算操做系統需解決計算在哪裏、如何簡化計算複雜度、如何更便捷地運維分佈式計算資產等。開發人員只需簡單調用接口,就可普遍地使用邊緣計算策略,而不用擔憂部署和計算在哪裏。

在高度分佈式模型中,邊緣計算潛在問題還不少。雲邊端協同須要解決中心雲、邊緣計算以及IoT鏈接和計算力的協同,發揮雲中心規模化、邊緣計算本地化與低成本、IoT終端感知等各方面優點,爲客戶提供最合適、最經濟的「上車點」,即計算髮生的位置。從雲到端將雲計算能力下沉到邊緣側、設備側,經過中心統一交付、運維、管控,粘合雲計算核心能力和邊緣算力,在邊緣基礎設施之上構築雲計算平臺,面臨問題與挑戰。

協同: 雲邊端協同缺乏統一的交付、運維、管控標準。

異構: 對不一樣硬件架構、規格、通訊協議的支持,以及基於異構資源、網絡、規模等差別化提供標準統一的服務能力。

網絡: 邊緣網絡的可靠性和帶寬限制;

更新: 邊緣計算要執行數據採集、程序更新、設備管理和監控、機器學習模型更新等高級功能,並且這些功能須要複製到全部邊緣節點和集羣,須要必定程度的自動化服務和工具來支撐。

管理: 傳統數據中心使用的管理策略和實踐一般不適用於邊緣部署,邊緣部署分佈在多個位置,比傳統數據中心更具動態性。承擔這樣一個系統的業務管理是一項複雜的任務。

架構及災備:邊緣計算須要小型化計算架構,雲計算基本上可作到的單節點內幾十萬臺機器之間災備,邊緣節點跨節點災備是須要解決的不小問題。

成本:雲提供可擴展性且易於配置,具備自動化和彈性,但在邊緣提供這些特徵昂貴且複雜。

安全:經過多個節點和設備將雲和數據中心擴展到邊緣,可能會成倍增長網絡攻擊面。不安全的設備和邊緣節點,可能成爲企業網中有價值資產的非法侵入點,或被用於其餘惡意目的,如分佈式拒絕服務攻擊。邊緣服務和數據的安全風險控制難度高,維護邊緣層全部資產的實體和網絡安全是一項複雜而關鍵的任務。

值得研究推動的方案

爲使邊緣計算能在參考框架指導下成功應用於各行業場景,如下對面對的挑戰提出一些值得進一步研究的解決方案,涉及可編程、命名、數據抽象、服務管理、隱私和安全,及性能指標優化。

編程可行性


雲有特定的編譯平臺,在雲計算平臺編程很是便捷,大部分程序均可在雲上跑,雲計算的基礎設施結構對用戶來講是透明的。但邊緣計算下的編程就會面臨平臺異構問題,每個網絡的邊緣都不同,有多是ios,安卓或者linux等,不一樣平臺下的編程又是不一樣。計算任務分到各類不一樣平臺的邊緣節點上。不一樣節點運行時不一樣,程序開發者面臨着巨大的困難。

爲解決可編程性問題,提出了計算流的概念,計算流是數據傳播路徑上的函數序列/計算序列,可經過應用程序指定計算髮生在數據傳播路徑中的哪一個節點。計算流能夠幫助用戶肯定應該完成哪些功能/計算,以及在計算髮生後如何傳播數據。經過部署計算流,數據的計算應儘量靠近數據源,從而減小數據傳輸成本。在計算流中,操做能夠從新分配,對應的數據和狀態也要從新分配。此外還要解決協做問題,如數據同步等。

命名機制


每一個物體都應有惟一的人類可讀名字,便於服務管理、物體判斷、部件更換。這種命名機制對於用戶和服務提供者來講十分方便。與全部的計算機系統相似,在邊緣計算中,命名方案對於編程、尋址、事物識別和數據通訊很是重要,但尚未行之有效的數據處理方式。邊緣計算的命名方案須要處理事物的移動性,動態的網絡拓撲結構,隱私和安全保護,以及對於大量不肯定物體的可擴展性等問題。傳統命名機制如DNS、URI都不能很好解決動態的邊緣網絡的命名問題。目前提出的NDN解決此類問題也存有必定侷限性。

數據抽象


在物聯網異構環境中會有大量的數據生成,且生成的數據格式多種多樣,數據格式化對邊緣計算來講是一個挑戰。邊緣的大部分事務只是週期性的收集數據,按期發送給網關,而網關存儲有限,所以邊緣結點的數據會被常常刷新。利用集成的數據表來存儲感興趣的數據,表內結構能夠用id、時間、名稱、數據等來表示。數據能夠被應用程序讀寫和操做,因爲邊緣設備的異構性,致使數據庫的讀寫和操做會存在必定的問題,設備的多樣性帶來數據的呈現方式與相應的操做都會有所差別,找到一種通用的數據抽象方式也並不是易事。

服務管理


邊緣結點的服務管理應該有如下特徵,包括可區分性、可擴展性、隔離性和可靠性。

可區分性:網絡邊緣上部署多個服務,不一樣服務應具備不一樣優先級,關鍵服務如物體判斷和故障報警應在其它普通服務以前執行。對於健康相關服務,心跳中止檢測應該具備最高優先級。

可擴展: 對於網絡邊緣來講是一個較大挑戰。相對於移動系統,物聯網中的物品都是動態的,向物聯網中添加或刪除一件物品都不是那麼容易,服務缺乏或增長一個新結點可否適應都是待解決的問題,這些問題能夠經過設計一個靈活可擴展的服務管理層來解決。

隔離性:指不一樣的操做之間互不干擾。例若有多個應用能夠控制家庭裏面的燈光,控制燈光的數據是共享的,當某個應用程序不能響應時,使用其餘應用程序依然可以控制燈光。也就是說這些應用程序之間相互獨立,互相沒有影響;隔離性還要求用戶數據和第三方應用是隔離的,即應用不該能跟蹤用戶數據並記錄,爲解決該問題,應添加一種全新的應用訪問用戶數據的方式。

可靠性:可從服務、系統和數據三方面來闡述。服務方面,網絡拓撲中任意節點的丟失都有可能致使服務不可用,如邊緣系統能提早檢測到具備高風險的節點那麼就可避免。較好的一種實現方式是使用無線傳感器網絡來實時監測服務器集羣。從系統角度來看,邊緣操做系統是維護整個網絡拓撲的重要一部份內容,節點之間能互通狀態和診斷信息,這種特徵使得在系統層面部署故障檢測、節點替換、數據檢測等十分方便。從數據角度,可靠性指數據在傳感和通訊方面可靠,邊緣網絡中的節點有可能會在不可靠時報告信息,好比當傳感器處於電量不足的時候就極有可能致使傳輸的數據不可靠。爲解決此類問題可能要提出新的協議來保證物聯網在傳輸數據時的可靠性。若是數據和通訊不可靠,提供可靠的服務將是一個挑戰。

隱私和安全


在網絡邊緣,數據隱私和安全保護是一個重要服務。若是物聯網應用部署在家庭中,用戶的大量隱私數據會被收集,好比能夠經過讀取電量和水量使用數據判斷家中是否有人。所以如何在不涉及隱私的狀況下提供服務也是一個問題。有些隱私信息能夠在處理數據以前剔除,例如遮蔽視頻中的面部。爲保證數據的私密性,可從如下方面來確保:

1,提升對數據隱私和安全的意識,全部的利益相關者包括服務提供者,系統和應用開發者以及終端用戶都須要意識到用戶隱私有可能會受到侵害。若是不加防禦的話,攝像頭,健康監測器甚至WIFI均可能被他人鏈接

2,在網絡邊緣處理數據,讓數據留在產生數據的地方能夠更好地保護隱私。這樣數據只會在本地被存儲、分析和處理,由用戶決定是否提供給服務提供者。

3,對於不一樣的應用設置權限,對私密數據的訪問加以限制。

4,邊緣的網絡是高度動態化的網絡,易受攻擊,很差防禦。須要有效的工具保護各類數據在網絡中的傳輸。

最優化指標

邊緣計算中節點衆多且不一樣節點的處理能力不一樣,所以在不一樣節點選擇合適的調度策略很是重要。能夠考慮在每層均勻分配負載或在每層完成儘量多的任務,極端狀況下徹底在端點操做或徹底在雲端操做。爲選擇最佳的分配策略,下面討論幾個優化指標,包括延遲,帶寬,能耗和成本。

延遲: 是衡量性能的最重要指標之一,特別是在交互式應用或服務中,延遲並不單由處理能力決定,也要結合數據在網路中傳輸的時間。在智能城市案例中,譬如要尋找丟失的小孩信息,在本地手機處理後把結果返回給雲將明顯加快響應速度。固然這種事情也有相對性,須要放一個邏輯判斷層來判斷把任務交給哪個節點處理合適,若是此時手機正在處理其餘重要的事情,因爲手機的計算資源已被佔用,此時把這種任務交給其餘層次來處理會更好些。

帶寬:高帶寬可減小傳輸時間,但也意味着大量的資源浪費。數據在邊緣處理有兩種模式,一是數據在邊緣徹底處理結束後上傳結果到雲端;另外一種是數據在邊緣處理了一部分,剩下的部分交給雲來處理。兩種方式都能極大的改善網路帶寬的現狀,減小數據的傳輸,進而加強用戶體驗

能耗:對於給定任務,需斷定在本地運算仍是傳輸給其餘節點計算節省資源。如本地空閒,那麼在本地計算是最省資源的,如本地正在忙碌狀態,那麼把計算任務分給其餘節點會更合適一些。權衡好計算消耗的能源和網絡傳輸消耗的能源是一件很是重要的事情。通常當網絡傳輸消耗的資源遠小於在本地計算消耗時,會考慮使用邊緣計算把計算任務卸載到其餘空閒節點上,幫助實現負載均衡,保證每個結點的高性能。

成本: 包括但不限於邊緣結點的構建和維護、新型模型的開發等。利用邊緣計算模型,大型服務提供商在處理相同工做的狀況下能獲取到更大利潤。

工做分配與各衡量指標之間密切相關。 若有時因爲能量限制,工做負載須要在城市數據中心完成。與構建服務器層相比,能量限制不可避免地會影響延遲。對於不一樣的工做負載,指標應該具備不一樣優先級(或權重),從而選擇合理的分配策略。此外,成本分析須要在系統運行時進行,同時還應該考慮併發工做的相互干擾以及資源用量。

雲原生技術的核心價值之一是經過統一的標準,實如今任何基礎設施上提供和雲上一致的功能和體驗,雲原生技術有助於實現雲 - 邊 - 端一體化的應用分發,解決在海量邊、端設備上統一完成大規模應用交付、運維、管控的訴求;安全方面,雲原生技術可提供容器等更加安全的工做負載運行環境,及流量控制、網絡策略等能力,可有效提高邊緣服務和邊緣數據的安全性;依託雲原生領域強大的社區和廠商支持,雲原生技術對異構資源的適用性逐步提高,在物聯網領域已能很好支持多種 CPU 架構(x86-64/arm/arm64)和通訊協議,並實現較低的資源佔用。

方向性探索及將來

工業互聯網的大力推進及5G大規模商用的持續醞釀,讓整個產業對IT、OT、CT的深度融合充滿信心和期待,在這種背景下,邊緣計算市場異常火爆。

什麼業務適合在邊緣


一類是終端算力上移的場景,藉助5G帶寬能力,把終端算力上移到邊緣,具備更靈活、更經濟的優點。第二類是本地化場景,不管低延時仍是大鏈接,本地產生的大量數據須要及時消化,減小帶寬成本,縮短傳輸時間。

阿里雲定義邊緣計算即城市計算,爲城市提供算力基礎。城市計算的場景涉及到道路計算(車路協同、交通監測)、公用事業計算(智能電網、智能環保)、消費計算(新零售、物流雲)、安全計算(公共安全)和家庭計算(雲遊戲、VR/AR)等等。

什麼業務適合部署在邊緣主要仍是從大流量、低延時、廣覆蓋、本地化這幾個方面來規劃,而系統平臺可基於Edge容器化k8s,享受k8s技術生態環境帶來的優點;對於底層基礎設施不敏感,有較強的彈性伸縮需求,可以使用Serverless層的邊緣容器服務,極簡運維,專一後臺業務邏輯。

5G、邊緣計算與雲計算的互補結合,有望逐步培育出新的商業生態。

須要怎樣的邊緣計算


總體來看,企業所需的邊緣計算要提供三方面能力,一是網絡和資源的覆蓋,保障海量邊緣節點和彈性的基礎設施來覆蓋終端接入,二是提供邊緣的基礎算力,包括計算、存儲、網絡、安全、調度等一些基礎能力,三是創建邊緣遠程運維體系,支持邊緣應用的快速部署、升級和監控。

邊緣計算不依賴於雲端,弱網絡條件下運行是基本功能,而數據處理能力成爲新的關注點,邊緣側讓物聯網應用變得更加智能。物聯網和AI 的深度結合成爲新的趨勢,邊緣計算框架成爲鏈接物聯網和AI的橋樑。好比在無人機應用上,因爲網絡的不穩定而將圖形識別能力部署在無人機上是一種可靠的選擇,實現無人機智能化。在工業物聯網的場合,終端接入數量過於龐大,且反饋實時性要求高,邊緣計算成爲工業互聯網的很是重要組成部分。

業務決定把中心的哪些應用作下沉,哪些終端的能力作上移,來實現性能和成本最優解。業務架構的演進比較複雜,邊緣計算平臺的使命就是讓事情變得簡單,從而去加速5G時代的業務架構升級進程,孵化更多的創新應用。好比在雲遊戲這個場景下,把遊戲的業務邏輯處理、數據處理以及畫面渲染放在邊緣,終端就不需太多配置和性能的要求,成本就可大大下降,這也是架構演進帶來的突破和改變。

邊緣融合的計算平臺,融合是指在邊緣的基礎設施如MEC、IDC等資源上作融合。也有在計算形態、提供形式以及運維方面的融合。邊緣節點服務須要知足業務的彈性,較強的突發需求應變能力,高資源利用率。須要DDoS防禦、主機安全保障,應對軟硬件故障對業務帶來的穩定性風險。在提供高可靠性服務的同時可作到問題的秒級發現和處理,支持經過體系化、自動化的運維使工做效率大幅提高。

雲邊一體的架構會將邊緣計算堅決在「雲計算新邊界」的理念之上。將來的IT架構必將朝着「雲邊端一體化協同「的方向發展,其中的核心就是邊緣雲原生。邊緣計算新業務的開展也將和傳統的中心雲保持同步:Serverless、安全沙箱技術、函數計算等新的業務形態都將在邊緣計算落地。

將來的邊緣技術和形態

將來邊緣雲計算將是基於雲計算的核心和邊緣計算的能力,構築在邊緣基礎設施之上的雲計算平臺。造成邊緣位置的計算、網絡、存儲、安全等能力全面的彈性雲平臺,並與中心雲和物聯網、終端造成「雲邊端三體協同」 的端到端技術架構。將網絡轉發、存儲、 計算,智能化數據分析等工做放在邊緣處理,下降響應時延、帶寬成本、減輕雲端壓力,並提供全網調度、算力分發等雲服務。邊緣計算將在三個方向發力:AI、IoT 與邊緣計算的融合,雲延伸;去中心化,設施自治,邊緣託管; 5G 邊緣計算引爆新增加。

推測將來的數據和計算20%發生在中心,80%發生在邊緣,能在邊緣處理的不會選擇通過長的鏈路到中心。時延要求高的場景,好比自動駕駛就會優先被放在邊緣。

邊緣計算的發展前景廣闊,被稱爲「人工智能的最後一千米」,但仍在發展,仍有許多問題須要解決。如框架的選用,通信設備和協議的規範,終端設備的標識,更低延遲的需求等。將來,即使從基礎設施的角度來說,也將擁有更多基於互聯網低延時、大帶寬的應用場景和想象空間。

邊緣計算算力其實有限,如量子計算和AI發展到必定程度,好比一個量子計算機就可爲一個城市全部人去玩遊戲作計算,可能有一天或許真的能夠代替雲的中心計算,由於在邊緣就可使用超強的計算。好比網絡切片的技術,可根據不一樣應用來提供QoS,對網絡要求不高的雲的QoS服務質量就低,反之經過網絡切片來提供高質量的網絡服務。包括SDN, MEC邊緣的多變接入,移動端、IP網絡端、電視網絡端,還有5G通訊技術,最核心的智能芯片。

邊緣計算將來的形態,像應用市場同樣去使用邊緣計算,好比視覺分析、語音識別、智能分析的算法、遊戲、VR、視頻、直播、虛擬工廠、虛擬公路、虛擬城市,包括存儲、數據中間件這些能力,經過雲中心鏈接且安裝到你的家、你行駛的路上,你的影院,你的工廠包括世界各地的邊緣節點,你只需選擇你把能力放到哪裏,一鍵就會放到那個地方,在那裏爲你提供計算服務。你的loT設備就可無需鏈接雲中心,在邊緣節點完成你全部後臺,包括計算的能力。

邊緣計算的落地和推動,將加速「新基建」各領域的進步。

雲邊協同,將來80% 計算髮生在邊緣。

邊緣計算把雲計算更靠近生活,服務生活,讓計算更有溫度 !

最 後

5G和雲計算的商用化普及,及企業數字化轉型催生了邊緣計算, 成爲雲計算的新邊界。邊緣計算拓展了雲計算邊界,致力於將計算能力推動到應用和場景發生的最近距離,以此構建萬物互聯的基礎。萬物智聯的時代須要低時延、大帶寬、高併發和本地化,雲、邊、端三體協同是萬物智聯的基本形態,最佳的行業應用解決方案。

邊緣計算橫跨OT、IT、CT多領域,涉及網絡聯接、數據聚合、AI、芯片、傳感、行業應用等多個產業鏈,幫助不一樣行業和廠商之間實現互通和互操做,被稱爲下一代互聯網的一個重要技術。物聯網和移動設備的普及改變了邊緣在計算範式中的角色,邊緣正從單純的數據消費者向數據生產者及消費者轉變。在網絡邊緣、在靠近數據源的地方進行計算和處理會更加高效。

當萬物智聯時代到來,當傳感器、攝像頭成爲整個社會的眼睛,咱們就能更好地經過眼睛去識別環境、回傳信息、智能分析,實現更智慧的城市管理。這就比如一我的的眼睛看到一個物體後立刻識別出來,以後再將結構化信息傳回大腦,邊緣計算即如此。

將來的生活須要邊緣計算,無論你見或不見,邊緣計算就在那裏。

把數字帶入每一個人,每一個家庭,每一個組織,構建萬物互聯的智能世界 ...

5G已來,邊緣已來_._ 邊緣計算,無處不在 !

點擊關注,第一時間瞭解華爲雲新鮮技術~

相關文章
相關標籤/搜索