在Win7虛擬機下搭建Hadoop2.6.0僞分佈式環境

近幾年大數據愈來愈火熱。因爲工做須要以及我的興趣，最近開始學習大數據相關技術。學習過程當中的一些經驗教訓但願能經過博文沉澱下來，與網友分享討論，做爲我的備忘。

第一篇，在win7虛擬機下搭建hadoop2.6.0僞分佈式環境。

1. 所須要的軟件

使用Vmware 11.0搭建虛擬機，安裝Ubuntu 14.04.2系統。

Jdk 1.7.0_80

Hadoop 2.6.0

2. 安裝vmware和ubuntu

略

3. 在ubuntu中安裝JDK

將jdk解壓縮到目錄：/home/vm/tools/jdk

在~/.bash_profile中配置環境變量，並經過source ~/.bash_profile生效。

#java export JAVA_HOME=/home/vm/tools/jdk export JRE_HOME=/home/vm/tools/jdk/jre export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$PATH export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

檢驗jdk安裝是否成功。

4. 配置ssh信任關係，實現無密碼登陸

4.1 安裝ssh

Ubuntu默認安裝了ssh客戶端，但沒有安裝ssh服務端，所以能夠經過apt-get安裝。

安裝ssh-server：sudo apt-get install openssh-server

若是沒有ssh客戶端，也能夠經過apt-get安裝。

安裝ssh-client：sudo apt-get install openssh-client

啓動ssh-server：sudo service ssh start

啓動之後，經過ps –aux | grep sshd查看ssh服務器是否安裝成功。

4.2 配置ssh信任關係

生成機器A的公私密鑰對：ssh-keygen -t rsa，以後一路回車。在~/.ssh目錄下生成公鑰id_rsa.pub，私鑰id_ras。

拷貝機器A的id_rsa.pub到機器B的認證文件中：

cat id_rsa.pub >> ~/.ssh/authorized_keys

這時候機器A到機器B的信任關係就創建好了，此時在機器A能夠不須要密碼直接ssh登陸機器B了。

本例中機器A和B是同一臺機器，配置ssh信任關係之後可使用ssh localhost或者ssh 機器IP地址來驗證。

5. 安裝hadoop2.6.0

5.1 解壓hadoop2.6.0

從官網下載hadoop-2.6.0.tar.gz，解壓到目錄/home/vm/tools/hadoop，並配置~/.bash_profile環境變量。經過source ~/.bash_profile生效。

#hadoop export HADOOP_HOME=/home/vm/tools/hadoop export PATH=$HADOOP_HOME/bin:$PATH export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export HADOOP_OPTS="-Djava.library.path=$HADOOP_HOME/lib"

5.2 修改配置文件

修改$HADOOP_HOME/etc/hadoop/hadoop-env.sh和yarn-evn.sh，配置JAVA_HOME路徑：

修改$HADOOP_HOME/etc/hadoop/slaves，增長本機IP地址：

cat "192.168.62.129" >> slaves

修改$HADOOP_HOME/etc/hadoop/下的幾個重要的*-site.xml：

core-site.xml 192.168.62.129是我虛擬機的IP地址

<configuration> <property> <name>fs.defaultFS</name> <value>hdfs://192.168.62.129:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>file:/home/vm/app/hadoop/tmp</value> <description>a base for other temporary directories.</description> </property> </configuration>

hdfs-site.xml

<configuration> <property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/home/vm/app/hadoop/dfs/nn</value> </property> <property> <name>dfs.namenode.data.dir</name> <value>file:/home/vm/app/hadoop/dfs/dn</value> </property> <property> <name>dfs.permissions</name> <value>false</value> <description> permission checking is turned off </description> </property> </configuration>

mapred-site.xml

<configuration> <property> <name>mapred.job.tracker</name> <value>hdfs://192.168.62.129:9001</value> </property> <property> <name>mapreduce.framework.name</name> <value>yarn</value> </property> </configuration>

yarn-site.xml

<configuration> <!-- Site specific YARN configuration properties --> <property> <name>yarn.nodemanager.aux-services</name> <value>mapreduce_shuffle</value> </property> </configuration>

5.3 格式化文件系統

在$HADOOP_HOME下執行bin/hdfs namenode –format格式化文件系統

5.4 啓停

在$HADOOP_HOME下執行sbin/start-dfs.sh和sbin/start-yarn.sh啓動hadoop集羣，執行sbin/stop-dfs.sh和sbin/stop-yarn.sh中止hadoop集羣。

啓動過程例如：

啓動完畢進程以下：

6. 查詢集羣信息

8088端口，查看All Applications信息：

50070端口，查看hdfs信息：

7. 驗證hadoop環境搭建是否成功

7.1 驗證hdfs是否正常

可使用各類hdfs命令測試。例如：

hdfs dfs -ls ./

hdfs dfs -put file.1 ./

hdfs dfs -get ./file1

hdfs dfs -rm -f ./file.1

hdfs dfs -cat ./file1

hdfs dfs -df -h

7.2 驗證map/reduce計算框架是否正常

在$HADOOP_HOME目錄下執行：bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0.jar wordcount ./count_in/ ./count_out/

其中./count_in/提早在hdfs集羣建立，統計該目錄下全部文件的單詞數量，輸出到./count_out/目錄。

執行過程示例以下：

執行完畢生成結果：

至此，Hadoop2.6.0的僞分佈式環境搭建完成。