雲-邊-端一體化的計算新格局

由浙江大學、Google、RedHat、華爲等企業於2015年共同參與成立的雲原生基金會（Cloud Native Computing Foundation，CNCF）秉承着協助、使能、鼓勵（help, enable, encourage）的宗旨，海納百川，是當前在容器、微服務、雲原生領域最活躍的社區之一。CNCF經過構建並推廣一系列的開源技術和標準，爲在雲原生時代構建動態（dynamic）、分佈式（distributed）環境下的可伸縮（scalable）、可運維（operable）、可觀測（observable）的敏捷應用與服務提供先進可靠的技術路線。

圖 1 CNCF組織構建的雲原生生態圖譜

以CNCF社區第一個宣佈畢業的開源容器編排項目Kubernetes的代碼貢獻量統計爲例，咱們能夠觀察到企業、高校和我的的緊密協做和貢獻是CNCF社區得以蓬勃發展的基石，自社區創立以來浙大一直積極持續的在社區進行投入，貢獻度始終排名全球第一梯隊，與華爲一塊兒領跑國內Kubernetes社區生態。

技術標準化是開源社區健康發展的保障

如同生物多樣性對生物界進化的做用通常，技術多樣性一樣是技術得以不斷演化與進步的保證。當前CNCF社區已經包含了20多個開源項目，而由CNCF繪製的雲原生生態圖譜則包含了超過500種開源技術（圖 1）。在這樣充滿技術多樣性的生態系統中，技術標準保障了不一樣類型的技術無縫對接，防止出現同類技術惡意競爭的狀況，是生態系統健康發展的重要保障。

2015年，CNCF成立之初，社區創始成員們就對技術標準化作出了富有建設性的設想，並作了CNCF社區將來工做範圍的整體架構設計（見圖2），其中包括了資源調度、分佈式系統服務、應用定義與編排等技術組件與一系列技術間的對接標準。衆多的尚處於設想中的技術標準，其中至關一部分，在2018年的今天都已經成爲了現實，包括容器運行時接口標準（Container Runtime Interface）、容器存儲接口標準（Container Storage Interface）和容器網絡接口標準（Container Network Interface）。固然在當今豐富的生態系統中也包含了CNCF成立之初沒有考慮到的技術標準，包括開放服務代理標準（Open Service Broker API）、雲事件標準（Cloud Event）等等。

雲原生開源技術圈流行一句話：「infrastructure should be boring「，即IT基礎設施相關技術逐漸趨於穩定。Open Container Initialitive（簡稱OCI）組織的出現，以及以containerd/runc爲表明的基礎容器運行時參考實現的普遍採用，標誌着雲原生時代的第一層基礎設施的穩定化。而Kubernetes在容器編排領域的勝出，則表明了雲原生時代的第二層技術設施的穩定化。

這些底層技術的穩定使得生態系統內的其餘廠商有信心在相關技術上繼續投入，一樣也使得終端用戶有信心嘗試和採用雲原生、微服務技術。更爲重要的是爲雲原生生態內的上層技術的繁榮帶來的強大的助推做用。

以Kubernetes API爲基礎，在CNCF社區中出現了大量Kubernetes-Native的上層技術，包括Service Mesh類的Istio、Linkerd等，雲原生存儲類的Rook項目，服務無計算/函數計算類的fission項目，快速部署管理深度學習框架的kubeflow項目，大數據類框架管理的Spark on Kubernetes，複雜應用定義與管理類的ksonnet、Helm項目等。這些上層技術的出現使得雲原生能夠被應用到更爲普遍的場景中，除了常見的無狀態/有狀態應用以外，也包括serverless、AI、大數據等多種場景，並反過來推動了Kubernetes等雲原生技術的進一步推廣。

須要指出的是，在基礎設施穩定化的大趨勢下，也存在一些底層的新興力量，好比近期Google發佈的gVisor運行時技術，在遵循OCI運行時標準的同時，爲容器運行時的實現帶來了全新的思路。

無服務的興起和雲計算抽象層次的提高

無服務計算（serverless）是新近加入到雲原生生態圖譜中的一大類新興技術。咱們不該把無服務計算等價爲某項具體的技術（好比亞馬遜的Lambda），也不該該將它等價爲某類具體的技術（好比函數計算）。無服務技術表明了雲計算服務抽象層次的提高。做爲終端用戶，再也不須要關於底層技術設施（如虛擬機集羣的規格定義和管理），而將注意力集中到更高抽象層次的應用開發上去。

CNCF社區中的服務無生態圖譜

從這個角度理解無服務計算，咱們能夠認爲無服務計算是新的也是舊的。說它是舊的，由於它包括IT領域以前早就出現過的Mobile-Backend-as-a-Service（MBaaS），也包括2011年開源的經典PaaS技術Cloud Foundry+BOSH+IaaS（雖然當時並未從serverless角度考慮，但經過BOSH自動調用IaaS層接口，咱們能夠實現基礎設施的透明化管理，即實現根據工做負載動態調整Cloud Foundry所使用的IaaS虛擬機集羣的規模，所以雖然PaaS和FaaS等serverless技術有所區別，咱們將Cloud Foundry+BOSH+IaaS技術也歸類到無服務計算中）。說它是新的，由於以AWS Lambda爲表明的函數計算，以及更爲近期的AWS Fargate和Azure ACI（Azure Container Instances）以及華爲雲CCI（Cloud Container Instance）服務正在不斷擴充無服務計算的內涵。浙江大學一直致力於新型雲計算技術的研發，早在2011年就開始參與Cloud Foundry開源項目，而在近期又參與到fission等開源FaaS項目中。

無服務計算符合雲計算一直以來細化分工、提高生產力的整體思想，咱們能夠預測，無服務計算將不只限於函數計算，而將在將來演化出多種形式的計算模式，而面向無服務計算的安全、監控等多方面相關技術生態將進一步繁榮（當前CNCF的無服務生態圖譜中僅僅包含工具、框架等少數類別，如圖 4所示）。因爲涉及到應用架構的演進，無服務計算的落地不會發生在一晚上之間，而將結合微服務技術，在將來的幾年裏緩慢推動。而在此過程當中相似CNCF社區中的virtual kubelet技術將做爲新舊架構應用開發運維模式的銜接與橋樑。

雲-邊-端一體化的計算新格局

IDC此前的數據顯示，隨着5G的到來和IoT的發展，到2020年，將有超過500億的終端設備聯網。而考慮到帶寬的消耗、網絡的延遲、以及數據隱私性保護等挑戰，在智慧城市、智慧醫療、智能製造、智能家居等數據量龐大、對處理延遲敏感、對數據隱私敏感的場景下，終端設備產生的數據中有超過半數須要在終端設備或網絡邊緣側就近分析處理，而中心化的雲端只處理計算資源需求大、實時性要求不高的計算任務，如AI模型訓練。將來的計算不只僅侷限在大型數據中心，而將分佈在由雲-邊-端構成的一體化連續頻譜上。

從計算平臺的角度看，雲-邊-端一體化的計算新格局至少提出瞭如下兩大挑戰：邊緣操做系統和端雲一體化管理平臺。

當咱們把終端設備和接入網關等構成的集羣當作一個個的小型數據中心，每一個邊緣節點再也不運行單一的任務，而是變成一個能夠動態執行被調度該節點的多類型任務的通用計算節點。所以邊緣操做系統不只僅須要負責邊緣設備上的任務調度、存儲網絡管理等傳統操做系統職責，也須要提供一套完整的安全隔離機制，以防止動態調度到同一邊緣設備上任務之間的相互影響。

而容器做爲一類輕量級的操做系統隔離技術就能夠在這裏發揮做用。根據不一樣場景下資源的豐富程度和功能需求，在具體作法上咱們能夠看到部署完整的Docker方案的實踐，也能夠看到更加輕量化的以containerd/runc爲基礎構建的開源IoT平臺eliot，或者相似百度IoT Intelligent Edge平臺那樣基於Linux內核的namespace，cgroup技術直接構建定製化容器隔離的技術方案。浙江大學在這方面的研究主要圍繞着unikernel技術，相比常見的containerd/runc容器技術，經過rumpkernel，OSv等unikernel技術能夠進一步減小攻擊面，減小資源佔用和加快響應速度，實現邊緣設備上安全計算環境。

端雲一體化管理平臺負責管理邊緣設備構成的大量小型數據中心。開源社區已經有關於如何將Kubernetes等優秀的容器編排引擎應用到大量小型數據中心的管理上。2018年5月在丹麥哥本哈根舉行的KubeCon+CloudNativeCon大會上開闢了專門的session討論Kubernetes與邊緣計算話題。跟CNCF同在Linux基金會下的EdgeX Foundry社區也發起了EdgeX Foundry on Kubernetes，即將該社區的邊緣計算平臺EdgeX運行在Kubernetes之上，利用Kubernetes完成資源調度管理的技術討論。微軟的IoT Edge Virtual Kubelet開源項目旨在討論如何使用Kubernetes構建包含傳統數據中心和邊緣計算的混合端雲一體化管理平臺。

 微軟的IoT Edge Virtual Kubelet開源項目架構，使用Kubernetes構建包含傳統數據中心和邊緣計算的混合端雲一體化管理平臺。圖片來源：github.com/azure/iot-edge-virtual-kubelet-provider