做者 | 阿里雲容器服務團隊
來源|阿里巴巴雲原生公衆號linux
2020 終於過去。在這一年,特殊的環境讓企業的生存和發展充滿着不肯定性。在持續應對由變化帶來的挑戰過程當中,數字化創新能力對於企業來講彷佛比以往任什麼時候候都更加劇要。數據庫
疫情之下,愈來愈多的企業堅決了上雲和實現數字化轉型的信念和步伐,而且積極探索雲原生架構轉型落地。2020 年 雙11,阿里巴巴實現了核心系統全面雲原生化的重大技術突破。基於雲原生架構,企業能夠最大化使用雲的能力,聚焦於自身業務發展,開發者也能夠基於雲原生的技術和產品,提高開發效率,將精力更多地聚焦於業務邏輯的實現。能夠看出,以容器爲表明的雲原生技術正在成爲釋放雲價值的最短路徑。安全
做爲雲原生髮展的基石,容器技術的新趨勢和新挑戰備受關注。2021 年伊始,阿里雲容器服務團隊的技術專家們爲你們帶來了他們對新一年容器技術趨勢的六個重要解讀。網絡
趨勢一:以 Kubernetes 爲表明的容器技術,已成爲雲計算的新界面
湯志敏|阿里雲容器服務資深技術專家架構
在最新發布的 「CNCF 2020 年中國雲原生調查」中顯示,有 72% 的中國受訪者在生產中使用了 Kubernetes。過去一年,咱們觀察到的阿里雲上雲原生生態的蓬勃發展也印證着雲原生技術正成爲釋放雲價值的最短路徑。從早期的無狀態應用、到 AI 大數據和存儲類應用都在擁抱容器技術。能夠看見,以 Kubernetes 爲表明的容器技術已成爲雲計算的新界面,並將繼續帶來更大價值。框架
1. 企業從上雲,到經過雲原生加速分佈式雲管理
- 對於企業來說,容器持續向下封裝基礎設施,屏蔽底層架構的差別性。
- 而 Kubernetes 的新界面進一步促進雲和邊的基礎能力對齊,推進「邊」的產品能力豐富度和標準化,從而加速容器應用在邊緣、IoT 和 5G 等場景的落地。
2. 容器應用的高密高頻挑戰,持續重構(Refactor)雲計算的架構
- 在容器應用的高密高頻的應用場景推進下,面向容器優化的 OS、裸金屬協同、硬件加速等技術持續演進,進一步催熟雲計算架構的全棧優化和軟硬一體,並給雲計算用戶帶來極致的敏捷、彈性等紅利。
- 而在容器新界面之上的 Serverless、新一代的中間件、新一代的應用 PaaS 方興未艾。
3. 容器大規模應用進入深水區,在自動化運維、企業 IT 治理、端到端安全等迎來挑戰
- 隨着愈來愈多的工做負載、AI 大數據、數據庫等應用容器化,如何統一容器和基礎資源造成統一的人、財、物、權等企業 IT 治理能力,是大規模落地容器的關鍵述求。
- 隨着愈來愈多的自定義控制器、愈來愈豐富的雲原生製品格式,如何保障大規模 K8s 集羣的穩定性帶來強需求,而數據化智能化的 K8s 自動化集羣運維和細粒度的 SLO 能力更加迫切。
- 零信任安全、容器身份認證、雲原生製品生命週期管理、安全容器、機密計算等 DevSecOps 實踐,持續打造端到端的容器安全網。
趨勢二:圍繞雲原生應用的高度自動化
王思宇|阿里雲技術專家,雲原生應用自動化引擎開源項目 OpenKruise 做者&初創團隊成員less
得益於 Kubernetes 面向終態的理念,雲原生架構自然具有高度自動化的能力。在應用雲原生化的過程當中會充分享用到自動化帶來的優點,副本數維持、版本一致性、錯誤重試、異步事件驅動等能力,相比過去面向過程的運維模式而言是一次新理念、新技術帶來的進步。在這片蓬勃發展的土壤之上,如何圍繞雲原生、爲應用打造更加自動化的基礎設施是將來 2021 年探索的重點方向之一:運維
- 應用部署運維更加自動化:雲原生業務類型及其多樣化,不論是傳統 IT、互聯網,仍是 Web 服務、搜索、遊戲、AI、邊緣等細分領域,每一種都會有自身特殊應用場景,而抽象、提煉出其中核心通用的部署運維訴求並轉化爲更加自動化的能力則是深耕雲原生的必經之路。
- 風險防控能力更加自動化:面向終態的自動化是一把 「雙刃劍」,它既爲應用帶來了聲明式的部署能力,同時也潛在地會將一些誤操做行爲被終態化放大,例如在發生操做故障時副本數維持、版本一致性、級聯刪除等機制反而極可能致使爆炸半徑擴大。所以,經過防禦、攔截、限流、熔斷等防控自動化能力來抑制其餘功能性自動化能力的缺陷和反作用,是伴隨着雲原生規模急劇擴大的必要防禦措施。
- Operator 運行時更加自動化:Kubernetes 能成爲容器集羣調度管理引擎的事實標準,其強大而又靈活的擴展能力功不可沒。Operator 既是一種特殊的應用,也是很多有狀態應用的自動化管理者。而過去社區總體 Operator 趨勢還停留在數量野蠻增加、周邊運行時機制卻無太大進步,2021 年 Operator 的運行時將會在水平擴展、灰度升級、租戶隔離、安全防禦、可觀測性等方面得到充分的自動化加強。
趨勢三:以「應用」爲中心構建高可擴展的上層平臺
孫健波|阿里雲技術專家,開放應用模型 OAM 開源項目負責人機器學習
隨着容器技術的進一步成熟,愈來愈多的企業開始關注容器技術如何更好的爲業務帶來價值。咱們能夠看到以 Kubernetes 爲交付界面的雲原生生態日益龐大,愈來愈多的團隊會基於 Kubernetes 構建上層抽象,增長更多的擴展能力,以「應用」爲中心構建高可擴展的雲原平生臺。異步
- 基於 Kubernetes 與標準應用模型構建的易用、可擴展的上層平臺將取代傳統 PaaS 成爲主流。當前雲原生生態的軟件雖然日益豐富,可是學習和使用門檻依舊很是高,易用性將成爲「以應用爲中心」的首要突破點。除此以外,在易用的同時保證可擴展性,保證以 Kubernetes 爲接入點的開源軟件無需或只要較小改造即可接入使用,也是這樣類型應用管理平臺的重要特徵。
- 「關注點分離」的標準化應用構建方式進一步深刻人心。圍繞 Kubernetes 構建應用交付平臺已經逐漸成爲共識,任何一個 PaaS 平臺都不想把 Kubernetes 屏蔽掉。可是這並不意味着直接把 Kubernetes 全部的信息暴露給用戶,PaaS 平臺的構建者們極度渴望給用戶最佳的體驗。解決這個問題的突破點就是你們使用一個標準化的、關注點分離的應用構建模型,平臺的構建者們關注 Kubernetes 接口(CRD 和 Operator),而平臺的用戶,也就是應用開發者們關注的則是一個標準化的抽象應用模型。
- 應用中間件能力進一步下沉,應用邏輯與中間件邏輯逐步解耦。隨着雲原生以及整個生態的發展,中間件領域也在逐步發展變化,從原先的中心化 ESB 到現在經過 Sidecar 模式提供能力的 Service Mesh 。應用中間件再也不是經過一個胖客戶端提供能力,而是成爲一個能力的標準接入層,能力的提供則由應用管理平臺經過 Sidecar 的方式在應用運行時注入。相信 Sidecar 這種模式將在除流量治理、路由策略、訪問控制以外的更多中間件場景中獲得應用,「以應用爲中心」,讓業務更專一,更聚焦。
趨勢四:「雲邊一體」迎來快速發展
黃玉奇|阿里雲高級技術專家,邊緣計算雲原生開源項目 OpenYurt 負責人
隨着 5G、IoT、直播、CDN 等行業和業務的發展,愈來愈多的算力和業務開始下沉到距離數據源或者終端用戶更近的位置,以期得到很好的響應時間和成本,這是一種明顯區別於傳統中心模式的計算方式——邊緣計算。將來,邊緣計算將存在三個很是明顯的發展趨勢:
- AI、IoT 與邊緣計算的融合,邊緣計算場景中業務種類會愈來愈多、規模愈來愈大、複雜度愈來愈高。
- 邊緣計算做爲雲計算的延伸,將被普遍應用於混合雲場景,這裏面須要將來的基礎設施可以去中心化、邊緣設施自治、邊緣雲端託管能力。
- 5G、IoT 等基礎設施的發展將會引爆邊緣計算的增加。
邊緣計算的規模、複雜度正逐日攀升,而短缺的運維手段和運維能力也終於開始不堪重負。在這個背景下,「雲邊端一體化運維協同」已經開始成爲一種架構共識。經過雲原生加持,雲邊融合的進程也正在被急劇加速:
- 「雲」層,讓咱們保留了原汁原味的雲原生管控和豐富的產品能力,經過雲邊管控通道將之下沉到邊緣,使海量邊緣節點和邊緣業務搖身一變成爲雲原生體系的工做負載。
- 「邊」側,經過流量管理和服務治理使其更好的和端進行交互,得到和雲上一致的運維體驗,更好的隔離性,安全性以及效率,從而完成業務、運維、生態的一體化。
邊緣計算雲原生便是雲原生的新邊界,也是邊緣計算的新將來。
趨勢五:雲原生 AI 只是起點,雲原生驅動數據變革是新主題
張凱|阿里雲高級技術專家,負責容器服務和雲原生 AI 解決方案研發 車漾 | 阿里雲高級技術專家,開源項目 Fluid 聯合發起人
數據是企業的核心資產,雲原生爲了更好地支撐企業 IT 數字化和智能化轉型,擁抱數據驅動應用是其將來幾年中最重要的使命之一。除了生在 Docker 裏、長在 Kubernetes 下的雲原生 AI 以外,如何能讓傳統的大數據和 HPC 應用也平滑遷移到 Kubernetes 平臺上來,實際上也是雲原生社區須要回答的問題。咱們看到的趨勢是致敬傳統任務調度器、容器化資源精細調度、彈性數據任務全新場景、AI 與大數據的統一雲原生底座。
- 致敬傳統任務調度器: Kubernetes 關注於資源調度,可是對於大數據和 HPC 的調度功能比起 Yarn 等離線傳統調度器還有不少須要借鑑的地方,最近在 Kubernetes 的 Scheduler Plugin Framework 的靈活框架下,適配於大數據和 HPC 場景的批量調度,Capacity 調度正在逐步落地。
- 容器化資源精細調度:Kubernetes 利用容器特性和插件化調度策略,能夠原生地支持 GPU 資源共享調度,而且能夠進行 GPU 資源隔離,Nvidia Ampere 的調度也在 Kubernetes 上作了 Mig 原生支持。這也是 Kubernetes 獨特的能力。而資源共享不只僅限於 GPU,對於 RDMA,NPU 甚至存儲設備,這種調度能力都是必不可少的。
- 彈性數據任務全新場景:隨着大數據和 AI 應用的彈性化愈來愈普及,如何讓數據也有彈性的能力,讓數據像流體同樣,在諸如 HDFS、OSS、Ceph 等存儲源和 Kubernetes 上層雲原生應用之間,靈活高效地移動、複製、驅逐、轉換和管理,推進廣闊雲服務場景下的大數據、AI 落地新應用。
- AI 與大數據的統一雲原生底座:基於做業調度、資源利用率優化和數據編排這些原子能力,愈來愈多 AI、機器學習平臺和大數據分析平臺構建在容器集羣之上。而 AI 與大數據對數據的依賴度,對計算、網絡和存儲資源的需求特色、工做負載特徵、運行策略、對在線服務的重要性,甚至影響企業 IT 成本的因素,都有不少類似之處。所以如何以統一的雲原生底座同時支持 AI 和大數據做業,將成爲企業 CTO、CIO 思考的主題之一。
趨勢六:容器安全成爲重中之重
楊育兵|阿里雲容器服務高級技術專家
容器已經成爲應用交付的標準,也是雲原生時代計算資源和配套設施的交付單元。以 runC 爲表明的使用 linux container 技術實現的容器運行時,以輕量、高效、自包含、一次打包處處運行等優秀特性,深受廣大容器開發者和使用者的喜好。
容器技術及應用日漸普及,正成爲雲計算的新界面。但云計算下的容器技術正面對新的挑戰。多個容器共享了同一內核,在隔離和安全性方面必然存在自然缺陷,並進一步限制了容器的應用場景和發展,使其只能應用於企業內部環境等單租場景。但云原生產品交付給不一樣租戶的容器,即便運行在同一臺宿主機上也必須具有強隔離的安全保證;在雲原生產品時代,容器運行時除了需繼續保持輕量、高效、自包含、一次打包處處運行的優秀特性外,還需進一步確保良好的安全隔離性,容器安全成爲重中之重。以 KATA 爲表明的使用輕量虛擬化實現的容器時逐漸成爲多租場景的標準容器運行時。
除了運行時的安全隔離,網絡、磁盤、鏡像、K8s API 等層面的安全隔離也是必需要解決的問題。涉及到多租戶和運行不可信代碼,用戶可接觸到的一切資源都是須要隔離的,包含網絡可達的目標,可使用的存儲,能夠下載或本地訪問的鏡像內容都須要隔離。爲了防止隔離實現自己有漏洞被用戶利用,安全防禦須要多層次的深度防禦,網絡防禦除了 VPC 隔離,還須要網絡策略細化隔離;計算的隔離除了虛擬化技術的隔離還須要有命名空間、系統調用等方面的隔離;存儲的隔離除了有虛擬化相關的隔離,還須要在宿主機上面作 DiskQuota 隔離;鏡像的隔離除了要作網絡隔離,還須要作本地的鏡像引用隔離。這些實現都是向強隔離、多層深度隔離方向發展。
容器安全技術也面對其它新的挑戰:引入虛擬化後,容器技術實現再也不輕量,如何對虛擬化技術優化,並儘量輕量、高效成爲咱們必需要解決的問題;業界也有像 Google 的 gVisor 和 Crosvm、Amzon 的 Firecracker 等輕量虛擬化支持容器化的技術,阿里內部也有相應的 Daishu 虛擬化容器技術來解決這個問題。
下載《雲原生大規模落地應用指南》,收藏更多雲原生規模化落地實踐經驗!點擊便可下載