Hadoop工具讓數據倉庫遷移更輕鬆

對於大數據管理和分析應用程序雲服務，用戶的關注度正不斷增加，而爲了應對這一趨勢，供應商已經開始努力簡化Hadoop的雲部署流程，並試圖下降雲端Hadoop的購買價格。

如何簡化Hadoop雲部署

大數據和雲計算如今對於Hadoop供應商和一些大數據技術公司來講，已經變得十分重要。這些公司正常嘗試使用新方法，來簡化用戶部署Hadoop雲系統的步驟，並下降用戶的部署成本。例如，Cloudera將計量功能加入其Cloudera Director工具中，以管理構建在Hadoop中的分佈式集羣。這容許Cloudera用戶採用一種基於使用的訂價模型，而沒必要以節點爲單位進行支付，這讓他們可以運行一些因特定目的搭建起來的臨時系統，使用完後能夠釋放資源，從而避免成本的上升。

在單個Cloudera Director實例的大數據雲環境中，用戶如今能夠在其中的多個區域內部署集羣。此外，新版本的Cloudera Enterprise(一個基於Hadoop的大數據平臺)實現了在Amazon Simple Storage Service(S3)數據存儲上直接運行Apache Impala SQL-on-Hadoop 查詢引擎。這使得不須要移動數據到Hadoop分佈式文件系統就能夠實現查詢操做，這也爲用戶在AWS雲上部署臨時系統提供了便利。

按需訂價以及對Impala-on-S3的支持，在Narasimhan Sampath看來是很是有用的，他是Choice Hotels International Inc.公司的系統架構師，這家公司在AWS雲上運行着Cloudera-based集羣，這些集羣與Spark數據處理引擎和Kafka信息查詢系統等技術協同工做，以支持各類自助分析應用程序。歡迎加入大數據學習交流分享羣： 658558542   一塊兒吹水交流學習（☛點擊便可加入羣聊）

把你的集羣遷移到雲上

在Strata + Hadoop World 2016會談中，Sampath表示，Choice遵循了BYOC的方式，將本身的集羣，以按需的方式部署到雲環境。例如，營銷部門的集羣能夠部署到雲中，完成一項工做，而後釋放資源。一樣地，開發團隊的集羣天天運行12小時，而後在夜間關閉，以節省公司在AWS雲上的投入。

Cloudera的計量訂價方式很是適合這種情景，Sampath在會談結束後說道。「我並不須要購買500個(Cloudera)許可證，除非我無時無刻都在使用這些資源。這和亞馬遜的模型是同樣的。」他補充道，Choice過去六個月與Cloudera進行了十分緊密的合做，試圖鏈接S3和Impala，Impala最初由Cloudera做爲開源軟件發佈。Choice使用S3做爲數據存儲。Sampath說，Impala對新查詢的支持爲BYOC策略提供了額外的靈活性。

Cloudera負責雲產品營銷的主管David Tishgart表示，他們已經愈來愈樂意在客戶中推廣雲。但直到如今，他們對臨時系統也沒有太好的解決方案，也不能隨便增長或減小工做負載。他認可，因爲這個緣由，大多數Cloudera用戶選擇了在雲中長期運行集羣，而不是採起臨時的方式。

追上Hadoop 雲的腳步

隨着愈來愈多的用戶展現出對雲的興趣，Clouder須要與Amazon Elastic MapReduce(EMR)，AWS提供的Hadoop雲平臺進行競爭。此外，Cloudera還發現，本身在與微軟Azure HDInsight大數據雲服務的競爭中也處於劣勢，該平臺基於Hortonworks Inc .的Hadoop的分佈式環境。

根據Gartner分析師Merv Adrian所述，從用戶數量的角度看，EMR已經讓AWS成爲了最大的Hadoop供應商。AWS最初落後於其餘Apache Hadoop競爭對手，但兩年前這種狀況得以改變，如今AWS Hadoop用戶數比其餘廠商總和還要多。

Hortonworks還專一於擴展Hadoop雲功能，他們表示，HDInsight如今運行着2.5版的Hortonworks數據平臺(HDP)。此外，Hortonworks如今還支持Microsoft's Azure Active Directory service 和Apache Ranger的集成。(Apache Ranger是一個用來管理Hadoop數據安全性和用戶訪問權限的框架)

儘管與微軟雲環境關係密切，但Hortonworks也提供HDP的技術預覽版，以便AWS用戶使用Spark和Apache Hive搭建臨時集羣。「咱們瞭解全部雲環境上的工做負載狀況，」該公司主管全球營銷的高級副總裁Matt Morgan說道。

Paxata公司也開始使用雲環境。這家自助服務數據準備軟件的供應商提供了一個新工具，叫作Paxata Connect，它能夠彙總運行在不一樣Hadoop集羣上的數據，其中也包括獨立雲平臺中的數據。Paxata首席產品官Nenshad Bardoliwalla說道，不少Hadoop的工做負載都已遷移到雲，可以建立「臨時」集羣，運行特定的工做，而後釋放資源，這種模式的誘惑十分巨大。

結語

感謝您的觀看，若有不足之處，歡迎批評指正。

若是有對大數據感興趣的小夥伴或者是從事大數據的老司機能夠加羣：

658558542    （☛點擊便可加入羣聊）

裏面整理了一大份學習資料，全都是些乾貨，包括大數據技術入門，海量數據高級分析語言，海量數據存儲分佈式存儲，以及海量數據分析分佈式計算等部分，送給每一位大數據小夥伴，這裏不止是小白彙集地，還有大牛在線解答！歡迎初學和進階中的小夥伴一塊兒進羣學習交流，共同進步！

最後祝福全部遇到瓶頸的大數據程序員們突破本身，祝福你們在日後的工做與面試中一切順利。