做者 | 不瞋 阿里雲高級技術專家後端
**導讀:**用戶需求和雲的發展兩條線推進了雲原生技術的興起、發展和大規模應用。本文將主要討論什麼是雲原生應用,構成雲原生應用的要素是什麼,什麼是 Serverless 計算,以及 Serverless 如何簡化技術複雜度,幫助用戶應對快速變化的需求,實現彈性、高可用的服務,並經過具體的案例和場景進行說明。服務器
現在,各行各業都在談數字化轉型,尤爲是新零售、傳媒、交通等行業。數字化的商業形態已經成爲主流,逐漸替代了傳統的商業形態。在另一些行業裏(如工業製造),雖然企業的商業形態並不是以數字化的形式表現,可是在數字孿生理念下,充分利用數據科技進行生產運營優化也正在成爲研究熱點和行業共識。網絡
企業進行數字化轉型,從生產資料、生產關係、戰略規劃、增加曲線四個層面來看:架構
- 生產資料:數據成爲最重要的生產資料,需求/風險隨時變化,企業面臨巨大的不肯定性;
- 生產關係:數據爲中心,非基於流程和規則的固定生產關係,網絡效應令生產關係跨越時空限制,多鏈接方式催生新的業務和物種;
- 戰略規劃:基於數據決策,快速應對不肯定的商業環境;
- 增加曲線:數字化技術帶來觸達海量用戶的能力,可帶來突破性的增加。
從雲服務商的角度來看雲的演進趨勢,在 Cloud 1.0 時代,基礎設施的雲化是其主題,採用雲託管模式,雲上雲下的應用保持兼容,傳統的應用能夠直接遷移到雲上,這種方式的核心價值在於資源的彈性和成本的低廉;在基礎設施提供了海量算力以後,怎麼幫助用戶更好地利用算力,加速企業創新的速度,就成爲雲的核心能力。負載均衡
若是仍在服務器上構建基礎應用,那麼研發成本就會很高,管理難度也很大,所以有了 Cloud 2.0,也就是雲原生時代。在雲原生時代,雲服務商提供了豐富的託管服務,助力企業數字化轉型和創新,用戶能夠像搭積木同樣基於各類雲服務來構建應用,大大下降了研發成本。框架
雲原生應用要素
雲原生應用有三個很是關鍵的要素:微服務架構,應用容器化和 Serverless 化,敏捷的軟件交付流程。less
1. 微服務架構
單體架構和微服務架構各有各的特色,其主要特色對好比下圖所示。總的來講,單體架構上手快,可是維護難,微服務架構部署較難,可是獨立性和敏捷性更好,更適合雲原生應用。運維
單體架構 VS 微服務架構異步
2. 應用容器化和 Serverless 化
容器是當前最流行的代碼封裝方式,藉助 K8s 及其生態的能力,大大下降了整個基礎設施的管理難度,並且容器在程序的支撐性方面提供很是出色的靈活性和可移植性,愈來愈多的用戶開始使用容器來封裝整個應用。 Serverless 計算是另一種形態,作了大量的端到端整合和雲服務的集成,大大提升了研發效率,可是對傳統應用的兼容性沒有容器那麼靈活,可是也帶來了很大的整潔性,用戶只須要專一於業務邏輯的編碼,聚焦於業務邏輯的創新便可。函數
3. 敏捷的應用交付流程
敏捷的應用交付流程是很是重要的一個要素,主要包括流程自動化,專一於功能開發,快速發現問題,快速發佈上線。
Serverless 計算
1. 阿里雲函數計算
Serverless 是一個新的概念,可是其內涵早就已經存在。阿里雲或者 AWS 的第一個雲服務都是對象存儲,對象儲存實際上就是一個存儲領域的 Serverless 服務;另外,Serverless 指的是一個產品體系,而不是單個產品。當前業界雲服務商推出的新功能或者新產品絕大多數都是 Serverless 形態的。阿里雲 Serverless 產品體系包括計算、存儲、API、分析和中間件等,目前雲的產品體系正在 Serverless 化。
阿里雲 Serverless 計算平臺函數計算,有 4 個特色:
- 和雲端無縫集成:經過事件驅動的方式將雲端的各類服務與函數計算無縫集成,用戶只須要關注函數的開發,事件的觸發等均由服務商來完成;
- 實時彈性伸縮:由系統自動完成函數計算的彈性伸縮,且速度很是快,用戶能夠將這種能力用在在線應用上;
- 次秒級計量:次秒級的計量方式提供了一種徹底的按需計量方式,資源利用率能達到百分之百;
- 高可用:函數計算平臺作了大量工做幫助用戶構建高可用的應用。
那麼,阿里雲函數計算是如何作到以上 4 點呢?阿里雲函數計算的產品能力大圖以下圖所示,首先函數計算產品是創建在阿里巴巴的基礎設施服務之上的產品,對在其之上的計算層進行了大量優化。接着在應用層開發了大量能力和工具,基於以上產品能力,爲用戶提供多種場景下完整的解決方案,纔有了整個優秀的函數計算產品。函數計算是阿里雲的一個很是基礎的雲產品,阿里雲的許多產品和功能均是創建在函數計算的基礎上。目前阿里雲函數計算已經在全球 19 個區域提供服務。
阿里雲函數計算產品能力大圖
2. Serverless 幫助用戶簡化雲原生應用高可用設計、實施的複雜度
雲原生應用的高可用是一個系統的工程,包括衆多方面,完整的高可用體系構建須要不少時間和精力。那麼 Serverless 計算是如何幫助用戶簡化雲原生應用高可用設計、實施的複雜度呢? 以下圖所示,高可用體系建設要考慮的點包括基礎設施層、運行時層、數據層以及應用層,且每一層都有大量的工做要作才能夠實現高可用。函數計算主要是從容錯、彈性、流控、監控四方面作了大量工做來實現高可用,下圖中藍色虛線框所對應的功能均由平臺來實現,用戶是不須要考慮的。藍色實線框雖然平臺作了一些工做來簡化用戶的工做難度,可是仍須要用戶來進行關注,而橘紅色的實線框表明須要用戶去負責的部分功能。結合平臺提供的功能和用戶的部分精力投入,能夠極大地減輕用戶進行高可用體系建設的難度。
函數計算高可用
函數計算在不少方面作了優化來幫助用戶建設高可用體系。下圖展現了函數計算在可用區容災方面的能力。從圖中可知,函數計算作了相應的負載均衡,使得容災能力大大提高。
函數計算多可用區容災
下圖展現的是函數計算對事件的異步處理,其處理流水線主要包括事件隊列、事件分發、事件消費三個環節,在每個環節上均可以進行水平伸縮,其中一個比較關鍵的點是事件的分發須要匹配下游的消費能力。另外,經過爲不一樣函數指定不一樣數量的計算資源,用戶能方便地動態調整不一樣類型事件的消費速度。此外,還能夠自定義錯誤重試邏輯,而且有背壓反饋和流控,不會在短期內產生大量請求時壓垮下一個服務。
函數計算事件異步處理
在函數計算的可觀測性上面,提供了日誌收集和查詢功能,除了默認的簡單日誌查詢功能外,還提供了高級日誌查詢,用戶能夠更方便地進行日誌分析。在指標收集和可視化方面,函數計算提供了豐富的指標收集能力,而且提供了標準指標、概覽信息等視圖,能夠更方便用戶進行運維工做。 下圖是應用交付的一個示意圖,在整個應用的交付過程當中,只有每一個環節都作好,纔可以建設一個敏捷的應用交付流程,其核心是自動化,只有作到了自動化,才能提高整個流水線的效率和敏捷度。
▲ 敏捷的應用交付流程
下圖展現了自動化應用交付流水線在每一個環節的具體任務。其中須要注意的是作到基礎設施即代碼,才能進行模板定義和自動化設置應用運行環境,進而實現自動化的持續集成等。
自動化應用交付流水線
作到了應用的自動化交付以後,對整個研發效率的幫助是很是大的。在 Serverless 應用上,阿里雲提供了多種工具來幫助用戶實現基礎設施即代碼。Serverless 的模型有一個很好的能力,就是同一份模板能夠傳入不一樣的參數,進而生成不一樣環境的定義,而後經過自動化地管理這些環境。
對於應用自己不一樣服務版本的交付和灰度發佈,函數計算提供了服務版本和服務別名來提供相應的服務,整個應用的灰度發佈流程能夠簡化成一些 API 的操做,大大提高業務的效率。經過 Serverless 計算平臺提供的這些能力,整個軟件應用的交付流水線自動化程度獲得了大幅度的提升。
函數計算還有一個頗有用的功能——對存量應用的兼容性。經過 Custom runtime,可以適配不少的流行框架,兼容傳統應用,使其可以很容易地適配到 Serverless 平臺上面,由控制檯提供應用的建立、部署、關聯資源管理、監控等一系列服務。
除了函數計算,還能夠用 Serverless 工做流對不一樣的應用環節、不一樣的函數進行編排,經過描述性的語言去定義工做流,由其可靠地執行每個步驟,這就大幅度下降用戶對於複雜任務的編排難度。
應用場景案例
函數計算有幾個典型的應用場景,一個就是 Web/API 後端服務,阿里雲已經有包括石墨文檔、微博、世紀華聯在內的多個成功應用案例。
函數計算的另一個應用場景就是大規模的數據並行處理,好比往 OSS 上面上傳大量的圖片、音頻、文本等數據,能夠觸發函數作自定義的處理,好比轉碼、截幀等。這方面的成功案例包括虎撲、分衆傳媒、百家互聯等。
函數計算還有一個應用場景就是數據實時流式處理,好比不一樣的設備產生的消息、日誌發送到消息隊列等管道相似的服務中,就能夠觸發函數來進行流式處理。
最後一個應用場景就是運維的自動化,經過定時觸發、雲監控事件觸發、流程編排等方式調用函數完成運維任務,大大下降運維成本和難度,典型的成功案例有圖森將來等。
圖森將來是一家專一於 L4 級別無人駕駛卡車技術研發與應用的人工智能企業,面向全球提供可大規模商業化運營的無人駕駛卡車技術,爲全球物流運輸行業賦能。在路測過程當中會有大量數據產生,而對這些數據的處理流程複雜多變,即便對於同一批數據,不一樣的業務小組也會有不一樣的使用及處理方式。如何有效管理不一樣的數據處理流程、下降人爲介入頻率可以大幅的提升生產效率。
路測不定時運行的特色使得流程編排任務運行時間點、運行時長具備極大的不肯定性,本地機房獨自創建流程管理系統難以最大優化機器利用率,形成資源浪費。而圖森將來本地已有許多單元化業務處理腳本及應用程序,但由於各類限制而沒法全量的遷移上雲,這也對如何合理化使用雲上服務帶來了挑戰。
針對上述狀況,圖森將來開始探索數據處理平臺的自動化。阿里雲 Serverless 工做流按執行調度的次數計費,具備易用易集成、運維簡單等諸多優勢,可以很好地解決上述場景中所遇到的問題,很是適合這類不定時運行的離線任務場景。
Serverless 工做流還支持編排本地或自建機房的任務,圖森將來經過使用 Serverless 工做流原生支持的消息服務 MNS 解決了雲上雲下的數據打通問題,使得本地的原有任務獲得很好的編排及管理。
除了調度外,Serverless 工做流也支持對任務的狀態及執行過程當中所產生的數據進行維護。圖森將來經過使用任務的輸入輸出映射及狀態彙報機制,高效地管理了流程中各任務的生命週期及相互間的數據傳遞。
在將來,隨着業務規模的擴大,圖森將來將持續優化離線大數據處理流程的運行效率及自動化水平。經過各類探索,圖森將來將進一步提高工程團隊的效率,將更多的精力和資金投入到業務創新中去。
總結
Serverless 工做流是阿里雲 Serverless 產品體系中的關鍵一環。經過 Serverless 工做流,用戶可以將函數計算、視覺智能平臺等多個阿里雲服務,或者自建的服務,以簡單直觀的方式編排爲工做流,迅速構建彈性高可用的雲原生應用。
自 2017 年推出函數計算起,該服務根據應用負載變化實時智能地彈性擴縮容,1 分鐘完成上萬實例的伸縮並保證穩定的延時。目前已經支撐微博、芒果 TV、華大基因、圖森將來、石墨科技等用戶的關鍵應用,輕鬆應對業務洪峯。
課程推薦
爲了更多開發者可以享受到 Serverless 帶來的紅利,這一次,咱們集結了 10+ 位阿里巴巴 Serverless 領域技術專家,打造出最適合開發者入門的 Serverless 公開課,讓你即學即用,輕鬆擁抱雲計算的新範式——Serverless。
點擊便可免費觀看課程:https://developer.aliyun.com/learning/roadmap/serverless
「阿里巴巴雲原生關注微服務、Serverless、容器、Service Mesh 等技術領域、聚焦雲原生流行技術趨勢、雲原生大規模的落地實踐,作最懂雲原生開發者的公衆號。」