Hadoop 簡介（轉）

Hadoop - 簡介

Hadoop可運行於通常的商用服務器上，具備高容錯、高可靠性、高擴展性等特色

特別適合寫一次，讀屢次的場景

適合

• 大規模數據
• 流式數據（寫一次，讀屢次）
• 商用硬件（通常硬件）

不適合

• 低延時的數據訪問
• 大量的小文件
• 頻繁修改文件（基本就是寫1次）

Hadoop架構

• HDFS: 分佈式文件存儲
• YARN: 分佈式資源管理
• MapReduce: 分佈式計算
• Others: 利用YARN的資源管理功能實現其餘的數據處理方式

內部各個節點基本都是採用Master-Woker架構

 

Hadoop安裝

• 單節點安裝

  全部服務運行在一個JVM中，適合調試、單元測試

• 僞集羣

  全部服務運行在一臺機器中，每一個服務都在獨立的JVM中，適合作簡單、抽樣測試

• 多節點集羣

  服務運行在不一樣的機器中，適合生產環境

  配置公共賬號

方便主與從進行無密鑰通訊，主要是使用公鑰/私鑰機制 全部節點的賬號都同樣 在主節點上執行 ssh-keygen -t rsa生成密鑰對 複製公鑰到每臺目標節點中

Hadoop配置

有兩種配置文件：

一種是**-default.xml（只讀，默認的配置）

一種是**-site.xml（替換default中的配置）

• core-site.xml 配置公共屬性

• hdfs-site.xml 配置HDFS

• yarn-site.xml 配置YARN

• mapred-site.xml 配置MapReduce

配置文件應用的順序：

1. 在JobConf中指定的
2. 客戶端機器上的**-site.xml配置
3. slave節點上的**-site.xml配置
4. **-default.xml中的配置

若是某個屬性不想被覆蓋，能夠將其設置成final

<property> <name>{PROPERTY_NAME}</name> <value>{PROPERTY_VALUE}</value> <final>true</final> </property>