Hortonworks，快速上手 Hadoop 的套件

最近我在思考的一件事情：如何幫助團隊 SQL 開發快速掌握大數據相關技術呢？面對瘋狂暴漲的數據，SQL Server 存儲成本愈來愈高了，日誌的增加量也極大超過預期，隔三差五總有空間不足致使的應用異常。並且各類多樣化的查詢需求，在海量數據環境中，響應也愈加慢了。

打開Google ，開始琢磨起來，找到兩個工具： HDP, CDH.

Hortonwork Hadoop 與 Cloudera Hadoop 是兩大 Hadoop 實施商。

Cloudera 是老牌的 Hadoop 供應商，除了定製化的 Hadoop 還提供培訓以及支持。

Hortonworks 是新興的 Hadoop 供應商，與 Cloudear 最大的不一樣，他是免費的。但一樣也提供培訓與支持，培訓與支持是收費的。

https://www.springpeople.com/blog/hortonworks-or-cloudera-which-one-is-better

文章針對 hortonworks hadoop(HDP) , Cloudera hadoop(CDH) 的優缺點作了詳細的闡述，給咱們選型 Hadoop 供應商提供了參考

之因此對 Hortonworks 的 Hadoop 進行研究，純碎是由於它開源。由於你研究透了它，你本身就能夠定製 Hadoop 套件，成立本身的大數據諮詢公司，這麼想，是否是有些許動心了呢？

Hortonworks 旨在用 Apache 開源組件搭建 Hadoop 平臺，這些組件都是屬於 Apache 旗下，所有開源。包括三大產品： Horton Data Platform, HDP；Apache Ambai ; SmartSense

Hortonworks Hadoop 提供了VMWare, Virtual box 以及 Docker 容器等快速安裝的鏡像，這些鏡像基於單個節點，用來快速體驗 HDP 的使用，這是臺一體機，下載的文件後綴名是.ova. 這纔是本文的重點。完徹底全從一個扣 SQL 的開發者，搖身一變，操盤 10 個億的大數據工程師。這段時間不會超過 2 小時！

就看你 In Or Not ， 來不來？下載地址在這裏，只幫你到這兒了：

https://hortonworks.com/downloads/#data-platform

這不是替他們打廣告，我不持有他們公司的任何股票！

介紹這款軟件，來源於曾經的一個失敗的想法：我想用 http://asp.net 搭建一個學習環境，讓全部的使用者均可以在不用安裝 SQL Server 環境下就能夠學會 SQL。基於種種緣由，這個項目破產了。而現在有這麼好的資源，能夠幫你們快速上手大數據的學習，我固然願意推薦了！

回到正題，咱們來走一遍 Hortonworks Hadoop 的玩法。

在整個不到 2 小時的使用中，我大概體驗了這些操做：

1 在 Hive 中建立表
2 學會了 Hive 基本的 DML 語句，好比： SELECT, WHERE,GROUP BY, SORT，Join
3 使用 Pig Latin1, 作了一次 ETL 的實現

比起純粹使用 Apache Hadoop, Hive 來構建分佈式系統， 使用套件能夠更形象的幫咱們創建直觀感覺，加深對概念的理解。

在 HDP 中，Ambari 是做爲開發者與 Hadoop 底層交互的界面，很是友好，拿出一照片，領略下界面的風格（保證看了以後，想本身開公司作諮詢的，至少在底層封裝方向上，能夠放棄了）：

這是 HDP 的 Dashboard, 經過它咱們能夠鏈接到其餘組件的控制檯，好比 HDFS, Hive, Pig, Spark 等

Hive 做爲分佈式數據倉庫，在支持 SQL 基本語法的同時，幫咱們開發者封裝了 MapReduce 底層編程實現，使得咱們不須要重複開發 Java 程序來實現常見的數據庫操做，亦可操做 T/P/E 級的數據量。

1 咱們只須要在 Ambari 中找到 Hive 2 View 就能夠像 SQL Server Management Studio 管理SQL Server 同樣來操做 Hive.

如此清晰的編輯界面，簡潔的 SQL 風格，SQL 開發者們可謂分分鐘上手

2 使用 Pig 實現 ETL： 咱們平時用的最多的ETL 工具，有 SSIS, Informatic 等， 而在大數據環境下，使用 Pig Latin 同樣能夠實現 ETL 的功能。趕上特別複雜的計算，Pig 還能夠擴展，調用 Java, Python 的方法。

是否是夠簡單，想要躍躍欲試，超級方便，下載他的一體機打開運行便可！

惟一的條件，內存要超級強悍，個人內存 8G， 你們看圖感覺下我當時的心情。

本文轉載自：https://blog.csdn.net/wujiandao/article/details/80558759