拍樂雲運維專家受邀QECon大會，暢談多雲環境伸縮實踐

5月28日-29日, QECon全球軟件質量&效能大會在深圳萬麗酒店圓滿落幕。本屆QECon大會聚焦「智能、雲原生、協同提效、業務價值」 等主題詞，在大會主場的主旨演講和15個專場的主題分享中獲得詳盡、全面的詮釋。拍樂雲做爲業內技術領先的音視頻雲服務商在雲原生、DevOps方面有着深厚的技術積累，運維專家&負責人毛立平受邀參加本次大會。

今天咱們處在一個新時代——數字化時代，萬物互聯，技術突飛猛進，雲原生、智能、大數據、區塊鏈等技術被軟件產品和研發普遍應用，促進業務價值鏈重構。同時，軟件系統的複雜性、不肯定性也與日俱增，給研發和運維帶來巨大的挑戰。爲此，咱們更樂意採用敏捷、DevOps開發模式，快速迭代，持續集成，持續交付；咱們也更加關注效能，開源協同，數據驅動效能，完善工具鏈，加速業務價值的交付。

拍樂雲Pano 運維專家&負責人毛立平在「雲原生質量」專題論壇中給你們帶來了一場關於「多雲環境彈性伸縮實踐」的精彩分享，引發了在場聽衆的積極響應和深刻思考。如下爲部分演講實錄。

#1

多雲的優點和挑戰

對於一個實時互動的音視頻服務，拍樂雲鬚要在全球範圍內作到端到端通訊400ms之內。所以咱們採用了分佈式的部署架構，在大區自建數據中心，同時利用公有云的能力做爲補充，將服務部署到不一樣雲廠商的不一樣地域，達到更好的網絡覆蓋效果。對於第三方雲廠商也沒法覆蓋的區域，咱們經過在邊緣機房部署 Pop 節點的方式進行加速。經過大區自建數據中心+多雲+ Pop 節點的混合方案，咱們實現了全球 200+ 國家及地區的網絡覆蓋和全球用戶的就近接入。

咱們將服務部署在多雲環境，會有如下優點：

利用不一樣廠商的網絡，能夠得到更好的網絡覆蓋；

能夠得到更好的彈性，全球不一樣雲不一樣區域隨時進行擴容縮容；

雞蛋不放在一個籃子，能夠得到更好的服務可用性，單一雲廠商出現不可用時，也不會影響總體服務。

然而，將服務運行在多雲環境時也會面臨一些挑戰：

鏡像一致性：不一樣雲廠商的鏡像會不一致， 同一個雲廠商的鏡像在不一樣時刻，也會有不一致的狀況；

拓撲一致性：不一樣雲上基礎設施部署拓撲也存在不一致的狀況；

功能一致性：不一樣雲的功能/性能/網絡表現存在差別；

容量一致性：不一樣雲上如何定義一個統一容量標準，如何進行擴容/縮容。

#2

多雲的解決辦法

面對這些挑戰，拍樂雲採用瞭如下解決思路：

標準化：自定義鏡像製做方式，統一不一樣雲的鏡像。自定義部署拓撲結構，統一不一樣雲的部署拓撲；

分層化：分離基礎設施和應用部署的過程；

代碼化：將基礎設施代碼化，實現IaC(Infrastructure as Code)，同時將應用部署代碼化，全腳本化部署應用；

自動化：定義服務容量，跨雲伸縮規則配合調度規則實現自動擴容縮容。

在評估服務容量時，大多數的廠家使用的是 CPU、帶寬這類系統參數來決策是否進行服務擴容/縮容。但這會容易出現一些問題，好比：CPU 使用率不是很高時，服務容量可能已經不足了，這種狀況下，根據系統指標進行擴容縮容，容易出現問題。

拍樂雲使用的是應用層的容量指標來描述，全部服務統一使用 0-1000 表示容量。每一個應用服務都會暴露這個容量指標，同時，咱們經過對比這個容量指標和系統指標的差別，持續對容量指標的精度進行修正。等跑了一段時間之後，這個容量指標就能比系統指標更精確，符合實際。

#3

多雲的效果和將來工做

目前拍樂雲能作到在幾分鐘內，對全網完成全球數百個服務器併發擴容/縮容，輕鬆應對突發流量。將來，咱們將對歷史容量趨勢進行分析，優化擴容/縮容的步長，進一步提高擴容/縮容的精度。做爲一家全球化的實時音視頻雲服務商，咱們將以數據爲驅動，深耕 DevOps 領域，夯實底層基礎設施，爲企業和開發者提供更加優質的音視頻體驗。