hadoop2.2.0僞分佈式搭建

1、準備linux環境

一、更改VMware適配器設置

    因爲是在單機環境下進行學習的，所以選擇適配器模式是host-only模式，若是想要聯網，能夠選擇橋接模式，配置的方式差很少。

    點擊VMware快捷方式，右鍵打開文件所在位置 -> 雙擊vmnetcfg.exe -> VMnet1 host-only ->修改subnet ip 設置網段：192.168.85.0 子網掩碼：255.255.255.0 -> apply -> ok

    

    回到windows --> 打開網絡和共享中心 -> 更改適配器設置 -> 右鍵VMnet1 -> 屬性 -> 雙擊IPv4 -> 設置windows的IP：192.168.85.100 子網掩碼：255.255.255.0 -> 點擊肯定

    

    在虛擬軟件上 --My Computer -> 選中虛擬機 -> 右鍵 -> settings -> network adapter -> host only -> ok

二、修改主機名

在linux命令窗口敲入如下命令    

vim /etc/sysconfig/network

修改主機名（帶#號的爲必須修改項）

NETWORKING=yes
HOSTNAME=hucc01    ###

三、修改ip

修改ip有三種方式：

第一種：經過Linux圖形界面進行修改（比較簡單）

進入Linux圖形界面 -> 右鍵點擊右上方的兩個小電腦 -> 點擊Edit connections -> 選中當前網絡System eth0 -> 點擊edit按鈕 -> 選擇IPv4 -> method選擇爲manual -> 點擊add按鈕 -> 添加IP：192.168.85.11 子網掩碼：255.255.255.0 網關：192.168.85.1 -> apply

第二種：經過Linux命令窗口進行修改（難度適中）

進入linux命令窗口，輸入如下命令

setup

選擇網絡配置 -> 設備配置 -> etho -> 配置好相對應靜態IP、子網掩碼、默認網關IP等信息便可。

第三種：修改配置文件方式（程序猿專用，通常人不會）（帶#號的爲必須修改項）

在linux命令窗口敲入如下命令    

vim /etc/sysconfig/network

修改ip信息

DEVICE="eth0"
BOOTPROTO="static"           ###
HWADDR="00:0C:29:3C:BF:E7"
IPV6INIT="yes"
NM_CONTROLLED="yes"
ONBOOT="yes"
TYPE="Ethernet"
UUID="ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c"
IPADDR="192.168.85.11"       ###
NETMASK="255.255.255.0"      ###
GATEWAY="192.168.85.1"        ###

四、修改主機名與IP的映射關係

在linux命令窗口敲入如下命令    

vim /etc/hosts

修改映射關係，添加以下內容

192.168.1.44	hucc01

五、關閉防火牆

#查看防火牆狀態

service iptables status

#關閉防火牆

service iptables stop

#查看防火牆開機啓動狀態

chkconfig iptables --list

#關閉防火牆開機啓動

chkconfig iptables off

六、重啓linux

reboot

2、安裝jdk

一、卸載centerOS自帶的openJDK

若是不卸載centerOS自帶的openJDK，那麼本身安裝jdk1.7.0_55將不會生效。

java -version

查看當前的java版本

rpm -qa | grep jdk

查看centerOS上全部的openJDK版本

逐個刪除便可

rpm -e --nodeps java-1.7.0-openjdk-1.7.0.9-2.3.4.1.el6_3.i686
rpm -e --nodeps java-1.6.0-openjdk-1.6.0.0-1.50.1.11.5.el6_3.i686

再次查看centerOS上全部的openJDK版本

rpm -qa | grep jdk

若是沒有內容則刪除成功了

二、下載並上傳jdk

到oracle官網下載jdk的linux版本，我下載的是jdk-7u55-linux-i586.tar.gz。

使用SecureFX將壓縮包上傳到linux上。

三、解壓jdk

#建立文件夾

mkdir /usr/local/src

#解壓

tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/local/src/

四、將java添加到環境變量中

vim /etc/profile

#在文件最後添加

export JAVA_HOME=/usr/local/src/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置

source /etc/profile

3、安裝hadoop

一、下載並上傳hadoop安裝包

從官網http://archive.apache.org/dist/下載hadoop-2.2.0.tar.gz壓縮包

使用SecureFX將壓縮包上傳到linux上

二、解壓hadoop

#解壓

tar -zxvf hadoop-2.2.0.tar.gz -C /usr/local/src/

三、修改配置文件（一共5個）

（1）修改hadoop-env.sh

vim /usr/local/src/hadoop-2.2.0/etc/hadoop/hadoop-env.sh

設置vim帶行號

:set nu!  #帶行號

#在27行修改

export JAVA_HOME=/usr/local/src/jdk1.7.0_55

(2)修改core-site.xml

vim /usr/local/src/hadoop-2.2.0/etc/hadoop/core-site.xml

在<configuration>標籤對中添加以下信息

    <!-- 指定HDFS老大（namenode）的通訊地址 -->
    <property>
	<name>fs.defaultFS</name>
	<value>hdfs://hucc01:9000</value>
    </property>
    <!-- 指定hadoop運行時產生文件的存儲路徑 -->
    <property>
	<name>hadoop.tmp.dir</name>
	<value>/usr/local/src/hadoop-2.2.0/tmp</value>
    </property>

(3)修改hdfs-site.xml

vim /usr/local/src/hadoop-2.2.0/etc/hadoop/hdfs-site.xml

在<configuration>標籤對中添加以下信息

    <!-- 設置hdfs副本數量 -->
    <property>
	<name>dfs.replication</name>
        <value>1</value>
    </property>

（4）修改mapred-site.xml

在/usr/local/src/hadoop-2.2.0/etc/hadoop/目錄下並無mapred-site.xml文件，可是有一個mapred-site.xml.template文件，所以須要將mapred-site.xml.template重命名成mapred-site.xml。

cd /usr/local/src/hadoop-2.2.0/etc/hadoop/
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml

在<configuration>標籤對中添加以下信息

    <!-- 通知框架MR使用YARN -->
    <property>
        <name>mapreduce.framework.name</name>
	<value>yarn</value>
    </property>

（5）修改yarn-site.xml

vim yarn-site.xml

在<configuration>標籤對中添加以下信息

    <!-- reducer取數據的方式是mapreduce_shuffle -->
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
    </property>

四、將hadoop添加到環境變量

vim /etc/profile

#修改profile的內容

export JAVA_HOME=/usr/local/src/jdk1.7.0_55
export HADOOP_HOME=/usr/local/src/hadoop-2.2.0
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin

#刷新配置

source /etc/profile

五、格式化HDFS（namenode）

第一次使用時要格式化

hadoop namenode -format

六、啓動hadoop

cd /usr/local/src/hadoop-2.2.0/sbin/

sh start-all.sh

啓動過程當中須要屢次輸入yes和你linux登錄口令

七、驗證hadoop是否安裝成功

jps

若是出現這樣的界面，那麼恭喜你，你的hadoop僞分佈式搭建成功了！

也能夠用瀏覽器訪問：http://192.168.85.11:50070  (HDFS管理界面)                                                http://192.168.85.1:8088 （MR管理界面）

若是嫌輸入ip麻煩，也能夠修改windows的hosts配置文件

在這個文件中添加linux主機名和IP的映射關係

在C:\Windows\System32\drivers\etc\hosts文件中添加

192.168.85.11	hucc01

以後能夠用瀏覽器訪問：http://hucc01:50070  (HDFS管理界面)

                      http://hucc01:8088 （MR管理界面）

4、配置ssh免登錄

一、生成ssh免登錄密鑰

#進入根目錄

cd

#查看隱藏文件

ls -la

你會發現有一個.ssh的文件夾

#進入.ssh文件夾

cd .ssh

#生成祕鑰，須要按4次回車

ssh-keygen -t rsa

執行完這個命令後，會生成兩個文件id_rsa（私鑰）、id_rsa.pub（公鑰）

二、將公鑰拷貝到要免登錄的機器上

#將公鑰拷貝到須要免登錄的機器上（須要輸入一次密碼）

ssh-copy-id -i 192.168.85.11

三、測試ssh免登錄是否成功

#關閉hadoop

cd /usr/local/src/hadoop-2.2.0/sbin/
sh stop-all.sh

原本關閉hadoop也須要密碼的，若是你沒有輸入密碼就關閉成功了，那麼，恭喜你，你的ssh免登錄也配置成功了！

若是不放心，你還能夠嘗試再次啓動hadoop，你會發現仍是不須要密碼就啓動成功了。

5、總結

總的來講，感受hadoop的僞分佈式搭建並不算難，難的是不知道如何入門，如何下手，大數據總給我一種很神祕的感受，就讓我經過博客的方式將這神祕的面紗一層一層的揭開把。fighting！