hadoop安裝筆記

1、設置Linux的靜態IP

修改桌面圖標修改，或者修改配置文件修改

一、先執行ifconfig，獲得網絡設備的名稱eth0

二、編輯/etc/sysconfig/network-scripts/ifcfg-eth0文件

設置靜態ip、dns、ip地址、子網掩碼、網關等信息

三、重啓網卡：service network restart

最後執行ifconfig命令查看是否修改爲功

該步驟需保證虛擬機中的Linux能與客戶機在同一網段而且ping通

 

2、修改主機名

修改當前會話主機名（當前會話生效）：hostname 主機名

修改配置文件主機名（永久生效）：vi /etc/sysconfig/network

重啓機器查看是否修改爲功：

其中hadoop爲主機名

 

3、把hostname和ip綁定

修改hosts文件：vi /etc/hosts文件，增長一行

192.168.1.214     hadoop

驗證：ping hadoop

 

4、關閉防火牆：service iptables stop

一、   查看防火牆狀態：service iptables status

二、   關閉防火牆：service iptables stop

三、   關閉防火牆的自運行：

a)    查看自運行狀態：chkconfig --list | grep 'iptables'

[root@hadoop sysconfig]# chkconfig --list | grep 'iptables'

iptables        0:關閉  1:關閉  2:啓用  3:啓用  4:啓用  5:啓用  6:關閉

b)    關閉：chkconfig iptables off

[root@hadoop sysconfig]# chkconfig iptables off

c)    再次查看自運行狀態：chkconfig --list | grep 'iptables'

[root@ hadoop sysconfig]# chkconfig --list | grep 'iptables'

iptables        0:關閉  1:關閉  2:關閉  3:關閉  4:關閉  5:關閉  6:關

這樣下次開機的時候就會不開啓防火牆了

 

5、ssh免密碼登錄

一、生成祕鑰文件

進入~/.ssh文件夾

注意：

1.若是沒有.ssh文件夾，就使用ssh協議登陸一次試試

2.若是仍是沒有.ssh文件夾，就本身建立一個。修改文件夾權限爲700

cd  ~

cd  .ssh

生成祕鑰：ssh-keygen -t rsa 

 

查看.ssh文件夾中已經多出了兩個文件id_rsa和 id_rsa.pub

[root@hadoop .ssh]# ls

id_rsa  id_rsa.pub

 

二、查看祕鑰文件是否生成成功

查看id_rsa.pub中的祕鑰文件，反正我是看不懂

 

3、將id_rsa.pub文件內容放入到authorized_keys中

 [root@hadoop .ssh]# cp id_rsa.pub authorized_keys

[root@hadoop .ssh]# ls

authorized_keys  id_rsa  id_rsa.pub

爲何要複製出一份authorized_keys文件？

答：由於SSH在運行的時候會讀取authorized_keys文件

 

 

4、驗證是否免密碼登錄：ssh localhost

使用localhost，不輸密碼登錄：ssh localhost

[root@hadoop .ssh]# ssh localhost

The authenticity of host 'localhost (127.0.0.1)' can't be established.

RSA key fingerprint is 8c:f4:bf:b5:c4:95:30:7b:1c:d7:cc:f8:69:15:e1:ab.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'localhost' (RSA) to the list of known hosts.

Last login: Sun Apr  5 17:45:25 2015

驗證：退出登錄

[root@hadoop ~]#exit

 

[root@hadoop ~]#exit

再次輸入exit的時候將會退出終端

 

6、安裝JDK

1、授予執行權限：

chmod u+x jdk-6u24-linux-i586.bin

2、解壓縮：./jdk-6u24-linux-i586.bin

[root@hadoop local]# ./jdk-6u24-linux-i586.bin

3、回車，查看jdk1.6.0.24文件夾

4、將jdk1.6.0_24重命名爲jdk：mv jdk1.6.0_24/ jdk

5、配置環境變量：

編輯/etc/profile文件,增長以下代碼

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

 

6、使設置當即生效：

source /etc/profile，再輸入java –version時已經能夠看到java版本了

 

7、僞分佈安裝hadoop

1、解壓縮hadoop-1.1.2.tar.gz

            tar –zxvf hadoop-1.1.2.tar.gz

            爲了方便重命名爲hadoop：mv hadoop-1.1.2 hadoop

2、添加到環境變量中

編輯/etc/profile文件,增長紅色字體文件

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$HADOOP_HOME/bin:$JAVA_HOME/bin:$PATH

 

3、使設置當即生效：

source /etc/profile

 

4、修改hadoop的配置文件

$HADOOP_HOME/conf目錄下的配置文件

修改如下4個配置文件

hadoop-env.sh

core-site.xml

hdfs-site.xml

mapred-site.xml

修改內容以下：

1.hadoop-env.sh修改內容以下：

export JAVA_HOME=/usr/local/jdk/

2.core-site.xml修改內容以下：

<configuration>

    <property>

        <name>fs.default.name</name>

        <value>hdfs://hadoop:9000</value>

        <description>change your own hostname</description>

    </property>

    <property>

        <name>hadoop.tmp.dir</name>

        <value>/usr/local/hadoop/tmp</value>

    </property> 

</configuration>

3.hdfs-site.xml修改內容以下：

<configuration>

    <property>

        <name>dfs.replication</name>

        <value>1</value>

    </property>

    <property>

        <name>dfs.permissions</name>

        <value>false</value>

    </property>

</configuration>

4.mapred-site.xml修改內容以下：

<configuration>

    <property>

        <name>mapred.job.tracker</name>

        <value>hadoop0:9001</value>

        <description>change your own hostname</description>

    </property>

</configuration>

 

4.1修改hadoop-env.sh（第9行）

# export JAVA_HOME=/usr/lib/j2sdk1.5-sun

取消#號註釋

注意：jdk的安裝路徑

4.2修改core-site.xml

注意：主機名稱（這裏是hadoop）

源文件內容

將須要修改的configuration中內容複製進去

4.3   修改hdfs-site.xml

源文件內容

複製修改

 

4.4修改mapred-site.xml

源內容

一樣複製內容。注意修改主機名

注意：主機名稱（這裏是hadoop）

 

5、對hadoop進行格式化

命令：hadoop namenode -format

若是格式化過程當中出現錯誤，則刪除hadoop/tmp文件夾。從新格式化便可

 

6、啓動hadoop

命令：start-all.sh

中止hadoop：stop-all.sh

 

共啓動5個java進程

7、驗證是否啓動hadoop：

7.1經過jps驗證是否共5個java進程

（jps命令在windows中也有）

7.2 經過瀏覽器端口驗證

注意：若是想在windows下訪問。須要修改windows/system32/dirves/etc/host文件

增長以下映射

192.168.1.214  hadoop

 

瀏覽器地址輸入： http://hadoop:50070/

或者： http://hadoop:50030/

出現以下界面說明hadoop的NameNode正在運行，啓動成功。

輸入：http://hadoop:50030/

出現以下界面，說明Hadoop的Map/Reduce正在運行，啓動成功。

8、消除start-all.sh時候的警告信息

出現上面警告信息的緣由爲：hadoop-config.sh文件中的以下代碼

主要是：$HADOOP_HOME_WARN_SUPPRESS變量內容爲空

解決辦法是設置該變量不爲空便可！

修改/etc/profile文件，增長以下代碼

export  HADOOP_HOME_WARN_SUPPRESS=1

 

而後使設置生效：source /etc/profile

 

 

 

 

 

來自爲知筆記(Wiz)