安裝hadoop

1.下載 

https://hadoop.apache.org/releases.html

2.上傳到linux

scp hadoop-3.0.3.tar.gz XJ@192.168.109.101:~/installPack/hadoop-3.0.3.tar.gz

3.解包

tar -zxvf hadoop-3.0.3.tar.gz -C ../software/

 

4.修改配置文件

　　1>hadoop-env.sh 修改java環境變量

　　 export JAVA_HOME=/home/XJ/software/jdk1.8.0_191

　　2> core-site.xml　

　　核心配置文件，配置默認文件系統和數據目錄,（注意fs.defaultFS配置的是namenode的地址，每一個datanode都同樣）

<property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop001:9000</value>
</property>
<property>
        <name>hadoop.tmp.dir</name>
        <value>/home/XJ/software/hadoop-3.0.3/data</value>
</property>
                 

　　3>hdfs-site.xml

　　hdfs配置文件，配置副本數量

<property>
    <name>dfs.replication</name>
    <value>3</value>
</property>

　　4>mapred-site.xml

　　mapreduce配置文件，配置資源調度集羣

<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>

　　5>yarn-site.xml

　　yarn配置文件，指定yarn集羣主節點和map節點與reduce節點的交互機制

<property>
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop001</value>
</property>
<property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>

　　6>workers

　　配置datanode的機器

　　hadoop001

　　hadoop002

　　hadoop003

5.配置ssh免密登陸

　　註解本身的公鑰也要配進本身的受權訪問列表，由於登陸本身也會是ssh登陸

6.關閉防火牆

systemctl stop firewalld.service

systemctl disable firewalld.service

firewall-cmd --state

7.格式化hdfs文件系統

 ./hadoop namenode -format

8.啓動hdfs

 ./start-dfs.sh

9.用jps查看進程

在目標namenode機器會啓動NameNode進程和SecondaryNameNode進程

在datanode集羣機器會啓動DataNode進程

10.啓動yarn

 ./start-yarn.sh