hadoop1.2.1僞分佈式安裝

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

source /etc/profile

   java -version #查看java 版本號

java version "1.7.0_25"

Java(TM) SE Runtime Environment (build 1.7.0_25-b15)

Java HotSpot(TM) 64-Bit Server VM (build 23.25-b01, mixed mode)

jdk安裝完畢！！！！！！！！

###################################################################

1.安裝hadoop   su hadoop 

進入hadoop 用戶

下載hadoop源碼安裝包

https://archive.apache.org/dist/hadoop/common/

解壓安裝包  tar -zxvf hadoop-1.2.1.tar.gz

配置環境變量

vim .bash_profile 

#hadoop-1.2.1

export HADOOP_HOME=/home/hadoop/hadoop

export HADOOP_BIN=/home/hadoop/hadoop/bin

export PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin

 source .bash_profile 

2.配置hadoop用戶無密碼登錄

cd

#ssh-keygen -t rsa  --------------------而後一直按回車鍵，就會按照默認的選項將生成的密鑰保存在.ssh/id_rsa文件中。

  ls -a 

   默認在 ~/.ssh目錄生成兩個文件：

    id_rsa      ：私鑰

    id_rsa.pub  ：公鑰

#cd ~/.ssh

#cp id_rsa.pub authorized_keys 

       或者cat ~/.ssh/id_rsa.pub >> .ssh/authorized_keys  

ssh lj-hd

The authenticity of host 'lj-hd (172.16.2.186)' can't be established.

RSA key fingerprint is 00:8a:8e:66:6d:c6:b2:50:68:71:3b:43:4d:a0:1a:da.

Are you sure you want to continue connecting (yes/no)? yes

Warning: Permanently added 'lj-hd,172.16.2.186' (RSA) to the list of known ho

sts.Last login: Fri Mar 25 10:49:39 2016 from 172.16.2.236

這步完成後，正常狀況下就能夠無密碼登陸本機了，無需輸入密碼。

ssh無密碼登錄安裝完畢！！！！！！！！！！！！！！！！！

3.hadoop的配置文件目錄

cd /home/hadoop/hadoop/conf

hadoop的運行環境

vim hadoop-env.sh   添加

export JAVA_HOME=/usr/local/java/jdk1.7.0_25   ##運行的java環境

export HADOOP_HOME=/home/hadoop/hadoop       ##運行的hadoop環境

 vim core-site.xml

<configuration>

<property>

<!--配置hdfs文件系統的路徑-->

 <name>fs.default.name</name>

  <value>hdfs://lj-hd:9000</value> 

  </property>

</configuration>

vim hdfs-site.xml

<property>

    <!--開啓web hdfs-->

    <name>dfs.webhdfs.enabled</name>

    <value>true</value>

 </property>   #初裝能夠不要

<property>

<!--文件備份個數-->

        <name>dfs.replication</name>

        <value>1</value>

</property>

 vim mapred-site.xml

<configuration>  

  <property>  

        <name>mapred.job.tracker</name>  

        <value>lj-hd:9001</value>  

    </property>  

</configuration> 

格式化：要先格式化HDFS:

  hadoop namenode -format

[hadoop@lj-hd ~]$ hadoop namenode -format

Warning: $HADOOP_HOME is deprecated.

16/03/25 11:35:03 INFO namenode.NameNode: STARTUP_MSG: 

/************************************************************

開啓集羣

start-all.sh

關閉集羣 

stop-all.sh 

jps查看守護進程啓動狀況

27673 SecondaryNameNode

27761 JobTracker

27536 DataNode

27882 TaskTracker

27421 NameNode

27936 Jps

web端口驗證

http://172.16.2.186:50070/jobtracker.jsp  

http://172.16.2.186:50070/dfshealth.jsp

hadoop僞分佈式安裝完畢！！！！！！！！！！

#################################################################

配置文件名                                 意義描述

hadoop-env.sh                              hadoop啓動須要的環境變量配置文件  

core-site.xml                              hadoop核心參數配置文件                

hdfs-site.xml                              hdfs主配置文件              

mapred-site.xml                            mapreduce主配置文件（jt）                

masters                                    secondnamenode的主機名列表配置文件      

slavers                                    全部從節點的主機名列表                   

hadoop-metrics2.properties                 metrics統計信息配置文件                

log4j.properties                           hdfs審計日記log4j配置文件       

mapred-queue-acls.xml                      用戶隊列的acl權限控制配置文件            

fair-scheduler.xml                         公平調度器主配置文件                  

capacity-scheduler.xml                     容量調度器主配置文件