大數據 --> Hadoop集羣搭建

Hadoop集羣搭建

 

1.修改/etc/hosts文件

在每臺linux機器上，sudo vim /etc/hosts 編寫hosts文件。將主機名和ip地址的映射填寫進去。編輯完後，結果以下：

 

 

2.配置ssh，實現無密碼登陸

  四臺虛擬機上，使用： ssh-keygen -t rsa  一路回車就好了

  master上將公鑰放到authorized_keys裏。命令：:

sudo cat id_rsa.pub >> authorized_keys

  將master上的authorized_keys放到其餘linux的~/.ssh目錄下。

sudo scp authorized_keys cjpt@132.228.28.183:~/.ssh

  修改authorized_keys權限，命令：chmod 644 authorized_keys

  測試是否成功

ssh cjpt@132.228.28.183

輸入用戶名密碼，而後退出，再次ssh hostbb不用密碼，直接進入系統。這就表示成功了

 

3.上傳jdk，並配置環境變量

  下載java，解壓縮放到/usr/lib/jvm路徑下

  在.bash_profile文件添加環境變量，vim ~/.bash_profile：

export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_60
export JRE_HOME=/usr/lib/jvm/jdk1.7.0_60/jre

  source ~/.bash_profile，使配置生效

 

4.上傳hadoop，並配置hadoop

4.1. 下載hadoop包，解壓縮到本地路徑

4.2.    修改環境變量，將hadoop加進去

vim ~/.bashrc

export HADOOP_PREFIX=/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export HADOOP_HOME=/home/cjpt/hadoop-2.2.0.2.0.6.0-76
export PATH=$HADOOP_HOME/bin:$JAVA_HOME/bin:$JRE_HOME/bin:$PATH

 4.3.    修改hadoop/etc/hadoop/下面的配置文件

•   hadoop-env.sh

 

注意：JAVA_HOME必須是絕對路徑，否則會報錯

•   core-site.xml

 

•   hdfs-site.xml，

 

•   mapred-site.xml，

 

•   master，

 

• slave，

 

上面的hadoop-env.sh，core-site.xml，mapred-site.xml，hdfs-site.xml，master，slave幾個文件，在四臺linux中都是同樣的。

配置完一臺電腦後，能夠將hadoop包，直接拷貝到其餘電腦上。

 

4.4.    讓hadoop配置生效

source hadoop-env.sh

4.5.    格式化namenode，只格式一次

hadoop namenode –format

4.6.    啓動hadoop

切到hadoop/sbin目錄下，執行 start-all.sh啓動全部程序

./start-all.sh

4.7.    查看進程，是否啓動

jps

•   master主機：

 

•   slave機器：