hadoop 第一課 啓動dfs 文件系統

一. 準備環境  

 1.  裝機  centerOs 6.8.    機器名稱爲

/etc/hostname 文件   修改主機名稱

 node1, node2,node3 ,ip是 192.168.244.81~~~83  ,所有進行以下操做

登入用戶名爲root

3. 配置 hosts 文件

 在文件   /etc/hosts  添加

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4
::1         localhost localhost.localdomain localhost6 localhost6.localdomain6
192.168.244.81  node1
192.168.244.82  node2
192.168.244.83  node3
192.168.244.84  node4
192.168.244.85  node5
192.168.244.86  node6
192.168.244.87  node7
192.168.244.88  node8
192.168.244.89  node9

 2. jdk     配置環境變量    

下載jdk 解壓文件   tar -zxvf 文件名稱

  在 文件   /etc/profile    最後面添加 

export JAVA_HOME=/root/axiazai/jdk1.7.0_80
export JRE_HOME=$JAVA_HOME/jre 
export CLASSPATH=.:$JAVA_HOME/lib:$JRE_HOME/lib 
export PATH=$JAVA_HOME/bin:$PATH

 

4.免密碼登入  --在hadoop官網上有詳細介紹

1. root用戶在node1機器上生成密鑰

$ ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa 

在/root/.ssh/下生成三個文件 ,以下

id_dsa id_dsa.pub known_hosts

2 .拷貝 node1下的文件到 node2機器下的 /root目錄

$ scp id_dsa.pub root@node2:~

3. 在node2 機器上 運行 以下: 把密鑰 轉換成文件 ,拷貝進密鑰文件

cat ~/id_dsa.pub >> ~/.ssh/authorized_keys

5.關閉防火牆

service iptables stop

 

二. hadoop環境

 1. 下載 hadoop-1.2.1.tar.gz  存放到    /root/  

 2.    tar -zxvf    文件名稱

3.建立連接   root/hadoop連接  到   /home/hadoop下面

 ln -sf /root/hadoop-1.2.1 /home/hadoop-1.2

 

 

三.修改hadoop配置文件 

注意, 必定要用vi 編輯器,   修改 ,不然出現其餘的錯誤

1.修改/hadoop-1.2/conf/core-site.xml

<property>

<name>fs.default.name</name>

<value>hdfs://node1:9000</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/opt/hadoop-1.2</value>

</property>

 說明:  hadoop.tmp.dir 是工做空間,  這個文件會自動建立

2.修改/conf/hdfs-iste.xml

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

 說明:  dfs.replication    dfs文件負責的數量

3.修改   /conf/slave

'

4.  修改 masters 

說明:  masters  是指定 secondNameNode  機器的在哪臺服務器上,不要和node1 一塊兒,因此是node2

5. 爲hadoop 添加java 環境變量  :  conf/hadoop-env.sh

在 # export JAVA_HOME=/usr/lib/j2sdk1.5-sun

修改爲 jdk所在路徑 ,所有替換客戶機資料

 

6.拷貝全部的配置文件   到全部的客戶機

在 conf文件下 拷貝全部的文件到 目標目錄

scp ./* root@node2:/home/hadoop-1.2/conf/

 

 

四.啓動hdfs 

1.先要格式化  /opt/tem文件  

./hadoop namenode -format

 2.啓動 ./start-dfs.sh 

 每次啓動,記得關閉程序

 

3.顯示 結果 

  node1:

node2:

node3

4.web顯示

 訪問地址: http://192.168.244.81:50070