啃掉Hadoop系列筆記(01)-Hadoop框架的大數據生態

1、Hadoop是什麼

    1）Hadoop是一個由Apache基金會所開發的分佈式系統基礎架構

    2）主要解決，海量數據的存儲和海量數據的分析計算問題。

    3）廣義上來講，HADOOP一般是指一個更普遍的概念——HADOOP生態圈

2、Hadoop發展歷史

    1）Lucene--Doug Cutting開創的開源軟件，用java書寫代碼，實現與Google相似的全文搜索功能，它提供了全文檢索引擎的架構，包括完整的查詢引擎和索引引擎

    2）2001年年末成爲apache基金會的一個子項目

    3）對於大數量的場景，Lucene面對與Google一樣的困難

    4）學習和模仿Google解決這些問題的辦法 ：微型版Nutch

    5）能夠說Google是hadoop的思想之源(Google在大數據方面的三篇論文)

        GFS --->HDFS

        Map-Reduce --->MR

        BigTable --->Hbase

    6）2003-2004年，Google公開了部分GFS和Mapreduce思想的細節，以此爲基礎Doug Cutting等人用了2年業餘時間實現了DFS和Mapreduce機制，使Nutch性能飆升

    7）2005 年Hadoop 做爲 Lucene的子項目 Nutch的一部分正式引入Apache基金會。2006 年 3 月份，Map-Reduce和Nutch Distributed File System (NDFS) 分別被歸入稱爲 Hadoop 的項目中

    8）名字來源於Doug Cutting兒子的玩具大象

    9）Hadoop就此誕生並迅速發展，標誌這雲計算時代來臨

3、Hadoop三大發行版本

    1）Apache版本最原始（最基礎）的版本，對於入門學習最好。

    2）Cloudera在大型互聯網企業中用的較多。

        2.1）2008年成立的Cloudera是最先將Hadoop商用的公司，爲合做夥伴提供Hadoop的商用解決方案，主要是包括支持、諮詢服務、培訓。

        2.2）2009年Hadoop的創始人Doug Cutting也加盟Cloudera公司。Cloudera產品主要爲CDH，Cloudera Manager，Cloudera Support

        2.3）CDH是Cloudera的Hadoop發行版，徹底開源，比Apache Hadoop在兼容性，安全性，穩定性上有所加強。

        2.4）Cloudera Manager是集羣的軟件分發及管理監控平臺，能夠在幾個小時內部署好一個Hadoop集羣，並對集羣的節點及服務進行實時監控。Cloudera Support便是對Hadoop的技術支持。

        2.5）Cloudera的標價爲每一年每一個節點4000美圓。Cloudera開發並貢獻了可實時處理大數據的Impala項目。

    3）Hortonworks文檔較好。

        3.1）2011年成立的Hortonworks是雅虎與硅谷風投公司Benchmark Capital合資組建。

        3.2）公司成立之初就吸納了大約25名至30名專門研究Hadoop的雅虎工程師，上述工程師均在2005年開始協助雅虎開發Hadoop，貢獻了Hadoop80%的代碼。

        3.3）雅虎工程副總裁、雅虎Hadoop開發團隊負責人Eric Baldeschwieler出任Hortonworks的首席執行官。

        3.4）Hortonworks的主打產品是Hortonworks Data Platform（HDP），也一樣是100%開源的產品，HDP除常見的項目外還包括了Ambari，一款開源的安裝和管理系統。

        3.5）HCatalog，一個元數據管理系統，HCatalog現已集成到Facebook開源的Hive中。Hortonworks的Stinger開創性的極大的優化了Hive項目。Hortonworks爲入門提供了一個很是好的，易於使用的沙盒。

        3.6）Hortonworks開發了不少加強特性並提交至核心主幹，這使得Apache Hadoop可以在包括Window Server和Windows Azure在內的microsoft Windows平臺上本地運行。訂價以集羣爲基礎，每10個節點每一年爲12500美圓。

4、Hadoop的優點

    1）高可靠性：由於Hadoop假設計算元素和存儲會出現故障，由於它維護多個工做數據副本，在出現故障時能夠對失敗的節點從新分佈處理。

    2）高擴展性：在集羣間分配任務數據，可方便的擴展數以千計的節點。

    3）高效性：在MapReduce的思想下，Hadoop是並行工做的，以加快任務處理速度。

    4）高容錯性：自動保存多份副本數據，而且可以自動將失敗的任務從新分配。

5、Hadoop組成

    1）概述

        1.1）Hadoop HDFS：一個高可靠、高吞吐量的分佈式文件系統。

        1.2）Hadoop MapReduce：一個分佈式的離線並行計算框架。

        1.3）Hadoop YARN：做業調度與集羣資源管理的框架。

        1.4）Hadoop Common：支持其餘模塊的工具模塊。

    2）HDFS架構概述

        2.1）NameNode（nn）：存儲文件的元數據，如文件名，文件目錄結構，文件屬性（生成時間、副本數、文件權限），以及每一個文件的塊列表和塊所在的DataNode等。

        1.2）DataNode(dn)：在本地文件系統存儲文件塊數據，以及塊數據的校驗和。

        1.3）Secondary NameNode(2nn)：用來監控HDFS狀態的輔助後臺程序，每隔一段時間獲取HDFS元數據的快照。

    3）YARN架構概述

        3.1）ResourceManager(rm)：處理客戶端請求、啓動/監控ApplicationMaster、監控NodeManager、資源分配與調度；

        3.2）NodeManager(nm)：單個節點上的資源管理、處理來自ResourceManager的命令、處理來自ApplicationMaster的命令；

        3.3）ApplicationMaster：數據切分、爲應用程序申請資源，並分配給內部任務、任務監控與容錯。

        3.4）Container：對任務運行環境的抽象，封裝了CPU、內存等多維資源以及環境變量、啓動命令等任務運行相關的信息。

    4）MapReduce架構概述

        MapReduce將計算過程分爲兩個階段：Map和Reduce

        4.1）Map階段並行處理輸入數據

        4.2）Reduce階段對Map結果進行彙總

    5）大數據技術生態體系

        5.1）Sqoop：sqoop是一款開源的工具，主要用於在Hadoop(Hive)與傳統的數據庫(mysql)間進行數據的傳遞，能夠將一個關係型數據庫（例如 ： MySQL ,Oracle 等）中的數據導進到Hadoop的HDFS中，也能夠將HDFS的數據導進到關係型數據庫中。

        5.2）Flume：Flume是Cloudera提供的一個高可用的，高可靠的，分佈式的海量日誌採集、聚合和傳輸的系統，Flume支持在日誌系統中定製各種數據發送方，用於收集數據；同時，Flume提供對數據進行簡單處理，並寫到各類數據接受方（可定製）的能力。

        5.3）Kafka：Kafka是一種高吞吐量的分佈式發佈訂閱消息系統，有以下特性：

            5.3.1）經過O(1)的磁盤數據結構提供消息的持久化，這種結構對於即便數以TB的消息存儲也可以保持長時間的穩定性能。

            5.3.2）高吞吐量：即便是很是普通的硬件Kafka也能夠支持每秒數百萬的消息

            5.3.3）支持經過Kafka服務器和消費機集羣來分區消息。

            5.3.4）支持Hadoop並行數據加載。

        5.4）Storm：Storm爲分佈式實時計算提供了一組通用原語，可被用於「流處理」之中，實時處理消息並更新數據庫。這是管理隊列及工做者集羣的另外一種方式。Storm也可被用於「連續計算」（continuous computation），對數據流作連續查詢，在計算時就將結果以流的形式輸出給用戶。

        5.5）Spark：Spark是當前最流行的開源大數據內存計算框架。能夠基於Hadoop上存儲的大數據進行計算。

        5.6）Oozie：Oozie是一個管理Hdoop做業（job）的工做流程調度管理系統。Oozie協調做業就是經過時間（頻率）和有效數據觸發當前的Oozie工做流程。

        5.7）Hbase：HBase是一個分佈式的、面向列的開源數據庫。HBase不一樣於通常的關係數據庫，它是一個適合於非結構化數據存儲的數據庫。

        5.8）Hive：hive是基於Hadoop的一個數據倉庫工具，能夠將結構化的數據文件映射爲一張數據庫表，並提供簡單的sql查詢功能，能夠將sql語句轉換爲MapReduce任務進行運行。 其優勢是學習成本低，能夠經過類SQL語句快速實現簡單的MapReduce統計，沒必要開發專門的MapReduce應用，十分適合數據倉庫的統計分析。

        5.10）R語言：R是用於統計分析、繪圖的語言和操做環境。R是屬於GNU系統的一個自由、免費、源代碼開放的軟件，它是一個用於統計計算和統計製圖的優秀工具。

        5.11）Mahout：Apache Mahout是個可擴展的機器學習和數據挖掘庫，當前Mahout支持主要的4個用例：

            推薦挖掘：蒐集用戶動做並以此給用戶推薦可能喜歡的事物。

            彙集：收集文件並進行相關文件分組。

            分類：從現有的分類文檔中學習，尋找文檔中的類似特徵，併爲無標籤的文檔進行正確的歸類。

            頻繁項集挖掘：將一組項分組，並識別哪些個別項會常常一塊兒出現。

        5.12）ZooKeeper：Zookeeper是Google的Chubby一個開源的實現。它是一個針對大型分佈式系統的可靠協調系統，提供的功能包括：配置維護、名字服務、 分佈式同步、組服務等。ZooKeeper的目標就是封裝好複雜易出錯的關鍵服務，將簡單易用的接口和性能高效、功能穩定的系統提供給用戶。