hadoop徹底分佈式搭建

1.關閉防火牆

　　service iptables status 查看防火牆狀態

　　service iptables stop 關閉防火牆

　　service iptables start 開啓防火牆

　　chkconfig iptables off 永久關閉防火牆

2.開啓網絡 （鏈接外網）

　　ping www.baidu.com 測試

　　vim /etc/sysconfig/network

3.修改主機名

　　vim /etc/sysconfig/network

5.配置ip與主機名之間的映射

　　vim /etc/hosts

　　例：192.168.118.101 hadoop101

　　192.168.118.102 hadoop102

　　192.168.118.103 hadoop103

6.建立新用戶（用戶名設爲hadoop）

　　useradd 用戶名（hadoop）

7.修改密碼

　　passwd hadoop

8.在root用戶下給hadoop用戶設置權限

　　vim /etc/sudoers

9.切換至hadoop用戶

　　su hadoop

10.在hadoop（~）用戶下建立文件夾software

　　mkdir software

11.安裝jdk

　　卸載原有jdk yum remove *openjdk*

　　從Windows上傳jdk壓縮包到linux上

　　解壓jdk壓縮包

　　tar -zxvf jdk壓縮包名

　　建立軟連接

　　ln -s jdk解壓後名 軟鏈接名

12.配置環境變量

　　vim ~/.bash_profile

　　export JAVA_HOME=jdk路徑

　　export PATH=$PATH:$JAVA_HOME/bin

13.將jdk分別傳到另外兩臺虛擬機上

　　scp -r jdk路徑 hadoop102:/home/hadoop/software

　　將環境變量文件發送至另外兩臺虛擬機

　　scp -r ~/.bash_profile hadoop102:/home/hadoop/.bash_profile

14.環境變量當即生效

　　source ~/.bash_profile

15.上傳hadoop

　　解壓 建立軟連接 配置環境變量

　　export HADOOP_HOME=路徑

　　export PATH=$PATH:$HADOOP_HOME/bin

　　export PATH=$PATH:$HADOOP_HOME/sbin

16.配置文件

　　cd /home/hadoop/software/hadoop/etc/hadoop

　　vim core-site.xml

<configuration>
    <property>
        <!--指定hdfs的namenode節點的地址-->
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop101:9000</value>
    </property>
    <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/hadoop/software/hadoop/data/tmp</value>
    </property>
</configuration> 

 

　　vim hdfs-site.xml

<property>
    <!--指定副本數爲3-->
    <name>dfs.replication</name>
    <value>3</value>
</property>
<!--指定secondarynamenode節點-->
<property>
    <name>dfs.namenode.secondary.http-address</name>
    <value>hadoop103:50090</value>
</property>
</configuration>

 

　　vim yarn-site.xml

<configuration>
<!-- Site specific YARN configuration properties -->
<property>
    <!--設置shuffle流程-->
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
</property>
<property>
    <!--設置resourcemanager的是哪一個節點-->
    <name>yarn.resourcemanager.hostname</name>
    <value>hadoop102</value>
</property>
</configuration>

　　vim mapred-site.xml

<configuration>
<!--指定mr運行在yarn-->
<property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
</property>
</configuration>

 

步驟二：修改JAVA_HOME

　　vim hadoop-env.sh

　　vim mapred-env.sh

　　vim yarn-env.sh

17.分發

　　將hadoop101上的hadoop分發到  hadoop102  hadoop103機器

　　scp -r 路徑 hadoop102:/home/hadoop/software/

　　建立軟鏈接

　　ln -s hadoop-2.7.3/ hadoop

　　遠程分發環境變量文件 ~/.bash_profile

　　scp ~/.bash_profile hadoop102:/home/hadoop/

　　當即生效:  source ~/.bash_profile

 

18.格式化

　　第一次使用的時候必定要格式化

　　 hadoop namenode –format

　　注意：若是再次格式化  須要將三臺機器上的data  logs全都刪除

　　啓動：單個啓動namenode

　　hadoop-daemon.sh start namenode

　　在hadoop101 hadoop102  hadoop103 啓動datanode

　　hadoop-daemon.sh start datanode

　　啓動secondarynamenode

　　hadoop-daemon.sh start secondarynamenode

　　在hadoop102 啓動resourcemanager

　　yarn-daemon.sh start resourcemanager

　　Hadoop101 102 103 啓動nodemanager

　　yarn-daemon.sh start nodemanager

19.ssh配置

　　羣起徹底分佈式： Ssh的無密登錄

　　解壓建立軟連接配置環境變量

　　export HADOOP_HOME=路徑

Hadoop101  hadoop102 hadoop103 三臺機器

 

生成公鑰私鑰對：

ssh-keygen -t rsa

ssh-keygen -t rsa

ssh-keygen -t rsa

三個回車

[hadoop@hadoop101 .ssh]$ ll

 

將公鑰拷貝到其餘機器：

ssh-copy-id hadoop101

ssh-copy-id hadoop102

ssh-copy-id hadoop103

 

Hadoop 102  hadoop3 機器上執行相同操做…

 

authorized_keys	受權列表
id_rsa	私鑰
id_rsa.pub	公鑰
known_hosts	記錄的是ssh訪問的記錄

 配置slavaes文件

vim slaves