hadoop(適合大數據的分佈式存儲和分佈式計算平臺)---總結

HADOOP：

   是一個適合大數據的分佈式存儲（HDFS）和並行計算（MapReduce）平臺.

   是由Doug Cutting編寫的。原來是nutch下的一個子項目，主要用來作搜索引擎。

   特色：1.擴容能力強，

         2.成本低：可以使用普通pc集羣來實現

         3.高效率：經過分發數據，能夠實現並行處理數據，使得處理速度很快

         4.可靠性：可以自動維護數據的多個副本，計算任務失敗後能自動的從新部署計算任務。

   架構圖：

Hadoop兩大核心：-----------------------------

1.HDFS：hadoop Distributed FileSystem（分佈式的文件存儲系統）

2.MapReduce：並行的計算框架。

HDFS的架構：

   HDFS採用主從結構（master/slave）

   主節點：NameNode  ---- 只有一個

    從節點：DataNode ---- 能夠有多個

   NameNode的職責：

           1.接受用戶的操做請求

           2.維護文件系統的目錄結構

           3.管理文件與block塊之間，block與DataNode之間的關係

   DataNode的職責：

           1.存儲文件

           2.文件被分紅了一個個的block塊存儲在DataNode節點的磁盤上

           3.爲了保證數據的安全，文件會存在多個副本（副本的存放策略：默認有3個副本，一個副本存放在本地機架節點上，一個存放在本地機架的另外一個節點上，最後一個存放在另外一個機架的節點上，這樣就減小了機架之間的數據傳輸，加快了寫操做的速率）

   2.MapReduce的架構：

       MapReduce採用了主從架構：

       主節點：JobTracker----只有一個

       從節點：TaskTracker---能夠有多個

       jobTracker：

           1.接受客戶提交的計算請求

           2.把計算任務分配給TaskTracker執行

           3.監控TaskTracker的執行狀況

       TaskTracker：

           1.執行JobTracker分配的計算任務。