離線計算成本節省的神兵利器

摘要： 對於創業成長型的企業來講，離線計算已經必不可少了，經過離線計算咱們能夠生成複雜的業務報表，經過離線計算咱們也能精確的算出用戶畫像。離線計算已經當今的企業中成爲了避免可或缺的存在。那麼使用彈性計算可以對離線計算領域帶來什麼好處呢？本文將介紹如何使用彈性計算節省企業離線計算成本。

背景

對於目前創業成長型的企業來講，離線計算已經必不可少了，經過離線計算咱們能夠生成複雜的業務報表，經過離線計算咱們也能精確的算出用戶畫像。離線計算已經當今的企業中成爲了避免可或缺的存在。那麼使用彈性計算可以對離線計算領域帶來什麼好處呢？小編告訴你好處確定是有的，且聽小編娓娓道來。

常見離線計算架構

從上圖中咱們用最多見的離線計算開源產品Hadoop做爲例子，如上圖所示你們會把存儲服務跟計算符合放在一臺ECS上。可是隨着業務的擴張，咱們對計算的需求愈來愈大，咱們須要用數據作各類運算，爲了加強離線集羣的計算能力，咱們會想到直接經過添加計算節點的方式來得到。可是隨着計算節點的添加咱們會遇到另外一個問題，那就是資源利用率不夠的問題。雖然計算經過擴容可以提高計算能力，可是數據可不會像計算那樣忽然猛增，因此對於存儲來講擴容操做會暫時致使資源利用率的降低。再加上離線計算天天的計算時間只有一段時間，擴容以後的ECS在天天離線計算完成以後將大量空閒，這段時間將是對成本極大的浪費！那麼不少客戶會想是否有一種方法可以將計算存儲分開進行擴容，而且在離線計算的時候對計算節點擴容，在計算完成以後將擴容的計算節點釋放掉，從而達到節省成本的目的。這個架構確定是有的，不過爲了讓你們更好的理解接下來的架構，小編先要給你們介紹一下競價實例和彈性伸縮。

競價實例簡單介紹

從上面的圖中你們能夠發現競價實例是一種按照供需關係變化價格波動的一種後付費類型實例，相對於按量付費實例價格有較低的折扣。不過同時競價實例是有可能隨時被阿里雲釋放的，這點請你們務必注意。簡而言之就是競價實例便宜，可是可能隨時被釋放。

彈性伸縮簡單介紹

彈性伸縮總共有以下三個優勢：

提高容錯能力

彈性伸縮會定時檢查ECS健康狀態，若是發現ECS不健康，那麼ECS將會建立一臺新的ECS去替換它而且將不健康的ECS釋放掉。

加強可用性

彈性伸縮可以經過定時、自動伸縮保證應用程序始終有合適的容量去知足當前的請求流量。

優化成本

彈性計算經過自動動態的方式按需增減實例，在須要的時候添加實例，不須要的時候釋放實例，從而節約IT成本。

存儲計算分離以後的離線計算架構

通過上面對競價實例以及彈性伸縮簡單的介紹，如今小編能夠大聲的告訴你們，存在一種基於彈性計算的架構可以不只可以知足用戶對於海量數據的計算能力需求，並且還能下降你們的計算成本。

• 將Hadoop的存儲計算節點分離
• 使用彈性伸縮來按時、按需建立、釋放計算計算節點
• 計算節點的付費類型採用競價方式

這裏相信你們確定又有疑問了，競價實例不是會被阿里雲釋放嗎，這裏使用競價實例合適嗎？答案是絕對合適的。第一競價實例的價格變量付費便宜不少，第二就算競價實例被阿里雲釋放了，影響的也牢牢只是咱們離線計算的速度。在上面的架構圖上小編也留了一臺ECS沒有加入伸縮組，這一臺ECS咱們能夠採用預付費的方式爲咱們計算資源提供「保底」的計算能力，固然咱們也能夠根據自身的須要來設置「保底」ECS的數量。

使用競價實例+彈性伸縮搭建離線計算架構Tips

Spot Instance出價策略

經過阿里雲ECS的售賣頁面查看競價實例多可用區的歷史價格，從而選擇一個合理的出價。

AutoScaling伸縮組配置

• 不要在整點觸發定時擴容任務，整點擴容的客戶比較多，你們能夠選擇整點事後5-10分鐘進行擴容，這樣價格相對會低一些
• 經過監測計算節點的CPU/MEM指標來觸發報警任務
• 經過在伸縮組選擇多可用區來增長成功購買競價實例的機率
• 在伸縮組內配置最大ECS數目防止彈性伸縮建立ECS數量超過預期
• 建立一條伸縮任務進行手動擴容以備不時之需

使用Spot Instance + AutoScaling成本

原文連接

閱讀更多幹貨好文，請關注掃描如下二維碼：