Hadoop簡介及架構

狹義上來講，hadoop就是單獨指代hadoop這個軟件，

廣義上來講，hadoop指代大數據的一個生態圈，包括不少其餘的軟件

 

二、hadoop的歷史版本介紹

0.x系列版本：hadoop當中最先的一個開源版本，在此基礎上演變而來的1.x以及2.x的版本

1.x版本系列：hadoop版本當中的第二代開源版本，主要修復0.x版本的一些bug等

2.x版本系列：架構產生重大變化，引入了yarn平臺等許多新特性

三、hadoop三大公司髮型版本介紹

免費開源版本apache：

http://hadoop.apache.org/

優勢：擁有全世界的開源貢獻者，代碼更新迭代版本比較快，

缺點：版本的升級，版本的維護，版本的兼容性，版本的補丁均可能考慮不太周到，學習能夠用，實際生產工做環境儘可能不要使用

apache全部軟件的下載地址（包括各類歷史版本）：

http://archive.apache.org/dist/

 

免費開源版本hortonWorks：

https://hortonworks.com/

hortonworks主要是雅虎主導Hadoop開發的副總裁，帶領二十幾個核心成員成立Hortonworks，核心產品軟件HDP（ambari），HDF免費開源，而且提供一整套的web管理界面，供咱們能夠經過web界面管理咱們的集羣狀態，web管理界面軟件HDF網址（http://ambari.apache.org/）

 

軟件收費版本ClouderaManager:

https://www.cloudera.com/

cloudera主要是美國一家大數據公司在apache開源hadoop的版本上，經過本身公司內部的各類補丁，實現版本之間的穩定運行，大數據生態圈的各個版本的軟件都提供了對應的版本，解決了版本的升級困難，版本兼容性等各類問題，生產環境強烈推薦使用

 

四、hadoop的架構模型（1.x，2.x的各類架構模型介紹）

4.一、1.x的版本架構模型介紹

文件系統核心模塊：

NameNode：集羣當中的主節點，主要用於管理集羣當中的各類數據

secondaryNameNode：主要能用於hadoop當中元數據信息的輔助管理

DataNode：集羣當中的從節點，主要用於存儲集羣當中的各類數據

數據計算核心模塊：

JobTracker：接收用戶的計算請求任務，並分配任務給從節點

TaskTracker：負責執行主節點JobTracker分配的任務

4.二、2.x的版本架構模型介紹

第一種：NameNode與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集羣當中的主節點，主要用於管理集羣當中的各類數據

secondaryNameNode：主要能用於hadoop當中元數據信息的輔助管理

DataNode：集羣當中的從節點，主要用於存儲集羣當中的各類數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配

NodeManager：負責執行主節點APPmaster分配的任務

第二種：NameNode單節點與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集羣當中的主節點，主要用於管理集羣當中的各類數據

secondaryNameNode：主要能用於hadoop當中元數據信息的輔助管理

DataNode：集羣當中的從節點，主要用於存儲集羣當中的各類數據

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配，以及計算任務的劃分，經過zookeeper實現ResourceManager的高可用

NodeManager：負責執行主節點ResourceManager分配的任務

 

 

 

第三種：NameNode高可用與ResourceManager單節點架構模型

文件系統核心模塊：

NameNode：集羣當中的主節點，主要用於管理集羣當中的各類數據，其中nameNode能夠有兩個，造成高可用狀態

DataNode：集羣當中的從節點，主要用於存儲集羣當中的各類數據

JournalNode：文件系統元數據信息管理

數據計算核心模塊：

ResourceManager：接收用戶的計算請求任務，並負責集羣的資源分配，以及計算任務的劃分

NodeManager：負責執行主節點ResourceManager分配的任務

 

第四種：NameNode與ResourceManager高可用架構模型

文件系統核心模塊：

NameNode：集羣當中的主節點，主要用於管理集羣當中的各類數據，通常都是使用兩個，實現HA高可用

JournalNode：元數據信息管理進程，通常都是奇數個

DataNode：從節點，用於數據的存儲

數據計算核心模塊：

ResourceManager：Yarn平臺的主節點，主要用於接收各類任務，經過兩個，構建成高可用

NodeManager：Yarn平臺的從節點，主要用於處理ResourceManager分配的任務