HADOOP配置

1、Hadoop基本配置

一、設置主機名

vi  /etc/sysconfing/network

NETWORKING=yes

HOSTNAME=localhost1

 

2、配置IP、主機名映射

vi  /etc/hosts

ip地址（ifconfig）  主機名（本身設置localhost1）

 

3、查看主機名

cat  /etc/hosts

 

4、ping  localhost1

5、配置ssh免密登錄

生成ssh免密登錄密鑰

ssh-keygen  -t rsa(四個回車)

執行玩這個命令後，會生成id_rsa(祕鑰)、id_rsa.pub（公鑰）

將公鑰拷貝到要免密登錄的目標機器上

ssh-copy-id  要登錄的主機名

6、測試免密登錄

ssh localhost1

 

7、配置防火牆

1)、查看防火牆狀態

service iptables status

2)、關閉防火牆

Service iptables stop

3)、查看防火牆開機啓動狀態

chkconfig iptables -list

4)、關閉防火牆開機啓動

chkconfig iptables off

2、Hadoop文件及環境變量配置

Hadoop-2.7.6/etc/hadoop

（一）Hadoop配置文件修改

一、hadoop-env.sh

vi hadoop-env.sh

export JAVA_HOME=jdk目錄

保存

二、core-site.xml

vi core-site.xml

<property>

<name>fs.defaultFS</name>

<value>hdfs://localhost1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>一個相對安全的目錄（全部數據都存在這個目錄下）</value>

</property>

3、hdfs-site.xml

vi hdfs-site.xml

<property>

<name>dfs.replication</name>

<value>2(副本個數，防止datanode節點癱瘓不能使用)</value>

</property>

<property>

<name>dfs.namenode.secondary.http-address</name>

<value>localhost1:50090（備份到datanode位置）</value>

</property>

4、mapred-site.xml

mv mapred-site.xml.template mapred-site.xml

vi mapred-site.xml

<property>

<name>mapreduce.framework.name</name>

<value>yarn</value>

</property>

5、yarn-site.xml

vi yarn-site.xml

<property>

<name>yarn.resourcemanager.hostname</name>

<value>localhost1</value>

</property>

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

6、slaves

vi slaves

寫出主機名（一行寫一個）

localhost1

 

（二）Hadoop配置環境變量

vi  /etc/bashrc

export  HADOOP_HOME=Hadoop-2.7.6目錄

export  PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source  /etc/bashrc

（三）拷貝到其餘機器

scp -r /hadoop-2.7.6目錄/  root@其餘機器名稱:/目標位置目錄/

 

 

關於hadoop配置文件

***-default.xml 這裏面配置了hadoop默認配置選項

若是用戶沒有更改，那麼這裏面的選項將會生效

****-site.xml 這裏面配置了用戶須要自定義的配置選項

site中配置選項優先級大於default中的，若是有配置的話，就會覆蓋默認的配置選項