hadoop部署參考

一、概要 由於工作需要，最近一段時間開始接觸學習hadoop相關的東西，目前公司的實時任務和離線任務都跑在一個hadoop集羣，離線任務的特點就是每天定時跑，任務跑完了資源就空閒了，爲了合理的利用資源，我們打算在搭一個集羣用於跑離線任務，計算節點和儲存節點分離，計算節點結合aws的Auto Scaling（自動擴容、縮容服務）以及競價實例，動態調整，在跑任務的時候拉起一批實例，任務跑完就自動釋放掉

>>阅读原文<<