好程序員大數據筆記之：Hadoop集羣搭建

       在學習大數據的過程當中，咱們接觸了不少關於Hadoop的理論和操做性的知識點，尤爲在近期學習的Hadoop集羣的搭建問題上，小細節，小難點拼頻頻出現，因此，今天集中總結如下筆記，但願對各位同窗有所幫助。ps：如下不涉及徹底分佈式，只說明單機版和僞分佈式。

1、hadoop本地模式和僞分佈式模式之間的區別

1.單機(非分佈式)模式。這種模式在一臺單機上運行，沒有分佈式文件系統，而是直接讀寫本地操做系統的文件系統。

2.僞分佈式運行模式。這種模式也是在一臺單機上運行，但用不一樣的Java進程模仿分佈式運行中的各種結點: (NameNode,DataNode,JobTracker,TaskTracker,SecondaryNameNode)。請注意分佈式運行中的這幾個結點的區別：從分佈式存儲的角度來講，集羣中的結點由一個NameNode和若干個DataNode組成,另有一個SecondaryNameNode做爲NameNode的備份;從分佈式應用的角度來講，集羣中的結點由一個JobTracker和若干個TaskTracker組成，JobTracker負責任務的調度，TaskTracker負責並行執行任務。TaskTracker必須運行在DataNode上，這樣便於數據的本地計算。JobTracker和NameNode則無須在同一臺機器上。一個機器上，既當namenode，又當datanode,或者說既是jobtracker,又是tasktracker。沒有所謂的在多臺機器上進行真正的分佈式計算，故稱爲"僞分佈式"。

二，hadoop本地模式的搭建

1.首先須要一臺客戶機。

2.安裝jdk。

1)首先在客戶機根目錄root文件夾下創建tools文件夾：root> mkdir tools。

2)用遠程鏈接工具鏈接客戶機，拖拽壓縮包到客戶機 root/tools/目錄下

3) 解壓jdk到/etc/local下：tar -zxvf jdk-8u152-linux-x64.tar.gz -C /usr/local/

3.安裝hadoop

1) 拖拽壓縮包到客戶機root/rools 目錄下。

2)解壓hadoop到etc/local/下：tar -zxvf hadoop-2.7.2.tar.gz -C /usr/local/。

4.配置環境變量

hadoop> vi /etc/profile

export JAVA_HOME=/usr/local/jdk1.8.0_152

export HADOOP_HOME=/usr/local/hadoop-2.7.2/

export CLASSPATH=.;JAVA_HOME/lib/dt.jar;JAVA_HOME/lib/tools.jar

export PATH=$JAVA_HOME/bi

PATH;HADOOP_HOME/bin;

HADOOP_HOME/sbin/;

5. hadoop version

java –version。以上兩項，都能正常顯示除版本號，即爲環境搭建成功，以上步驟爲本地模式搭建成功!

三，hadoop僞分佈式模式的搭建(以上五步到配置環境搭建成功爲基礎)

1..配置集羣

1)配置：hadoop-env.sh。Linux 系統中獲取jdk 的安裝路徑：/usr/local/jdk1.8.0_15並修改JAVA_HOME 路徑爲：export JAVA_HOME=/opt/module/jdk1.8.0_144

2)配置：core-site.xml

3）配置：hdfs-site.xml

4)啓動集羣。格式化namenode(第一次啓動時格式化，之後就不要總格式化) [qianfeng@hadoop101 hadoop-2.7.2]$ bin/hdfs namenode –format。啓動namenode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start namenode。啓動datanode。[qianfeng@hadoop101 hadoop-2.7.2]$ sbin/hadoop-daemon.sh start datanode

5)查看集羣是否成功。[qianfeng@hadoop101 hadoop-2.7.2]$ jps。13586 NameNode。13668 DataNode。13786 Jps。//正常應該啓動這三個進程

6)查看產生的log日誌。當前目錄：/usr/local/hadoop-2.7.2/logs>ls。

hadoop-qianfeng-datanode-hadoop.qianfeng.com.log

hadoop-qianfeng-datanode-hadoop.qianfeng.com.out

hadoop-qianfeng-namenode-hadoop.qianfeng.com.log

hadoop-qianfeng-namenode-hadoop.qianfeng.com.out

SecurityAuth-root.audit

cat hadoop-qianfeng-datanode-hadoop101.log

以上步驟即爲僞分佈式搭建成功!

學習大數據開發，能夠參考好程序員提供的大數據學習路線，該學習路線提供完整的大數據開發知識體系，內容包含Linux&&Hadoop生態體系、大數據計算框架體系、雲計算體系、機器學習&&深度學習。