Hadoop環境搭建之Hadoop安裝

1、說明

十一、軟件選擇

jdk：jdk-6u45-linux-x64-rpm.bin ，下載地址：https://yunpan.cn/cS429Bvah7mgv （提取碼：a0b5）

hadoop：hadoop-1.1.2.tar.gz ，下載地址：https://yunpan.cn/cS42GnmRa8TDd （提取碼：aefa）

十二、服務器說明

咱們使用三臺服務器部署hadoop，其中服務器h1做爲namenode節點，h二、h3做爲datanode節點。三臺服務器的ssh配置詳見 Hadoop環境搭建之SSH免密碼相互訪問 

1三、linux服務器版本：CentOS 5.8 64bit

2、jdk安裝

因爲hadoop是java寫的，那麼jdk的安裝就不可少了。若是linux系統中已經有jdk那麼最好先卸載掉，避免因爲版本太低或者太高形成hadoop不能正常安裝。

2一、將jdk文件賦予可執行權限

chmod +x jdk-6u45-linux-x64-rpm.bin

2二、執行命令，將其生成rpm文件，命令以下

./jdk-6u45-linux-x64-rpm.bin

2三、執行22步驟生成的rpm文件，命令以下

rpm -ivh jdk-6u5-linux-amd64.rpm

2四、設置jdk的環境變量

在/etc/profile文件的「export PATH USER LOGNAME MAIL HOSTNAME HISTSIZE INPUTRC」內容上添加一下內容

export JAVA_HOME=/usr/java/jdk1.6.0_45
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin
export CLASSPATH=.:$JAVA_HOME/lib:$JAVA_HOME/jre/lib:$CLASSPATH

3、安裝hadoop

一、在根目錄下建立一個名字爲「bdata」的文件夾

mkdir /bdata

二、將hadoop-1.1.2.tar.gz在bdata中解壓，最後生成hadoop-1.1.2文件

tar -zxvf hadoop-1.1.2.tar.gz

三、修改配置文件

3一、修改/bdata/hadoop-1.1.2/conf/core.site.xml文件，將其內容修改成

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>hadoop.tmp.dir</name>
  <value>/bdata/hadoop-1.1.2/hadooptmp</value>
  <description>A base for other temporary directories.</description>
</property>
<property>
  <name>fs.default.name</name>
  <value>hdfs://h1:9000</value>
  <description>The name of the default file system.  A URI whose
  scheme and authority determine the FileSystem implementation.  The
  uri's scheme determines the config property (fs.SCHEME.impl) naming
  the FileSystem implementation class.  The uri's authority is used to
  determine the host, port, etc. for a filesystem.</description>
</property>
</configuration>

其中/bdata/hadoop-1.1.2/hadooptmp是存放hadoop相關數據的目錄，h1爲namenode節點。

3二、修改/bdata/hadoop-1.1.2/conf/hdfs-site.xml文件，將其內容修改成：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>dfs.replication</name>
  <value>2</value>
  <description>Default block replication. 
  The actual number of replications can be specified when the file is created.
  The default is used if replication is not specified in create time.
  </description>
</property>
</configuration>

其中dfs.replication的值2表示數據塊會被保存2份，這個機制是防止數據丟失。

3三、修改/bdata/hadoop-1.1.2/conf/mapred-site.xml文件，將其內容修改成：

<?xml version="1.0"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<!-- Put site-specific property overrides in this file. -->
<configuration>
<property>
  <name>mapred.job.tracker</name>
  <value>h1:9001</value>
  <description>The host and port that the MapReduce job tracker runs
  at.  If "local", then jobs are run in-process as a single map
  and reduce task.
  </description>
</property>
</configuration>

3四、修改/bdata/hadoop-1.1.2/conf/masters文件，將其內容修改成：

h1

此文件的內容是指定namenode節點服務器

3五、修改/bdata/hadoop-1.1.2/conf/slaves文件，將其內容修改成：

h2
h3

此文件的內容是指定datanode節點服務器

36，在hadoop-1.1.2目錄下車間hadooptmp文件，此文件用於存放hadoop的數據，切換到hadoop-1.1.2下，並執行如下命令

mkdir hadooptmp

3七、將配置好的hadoop-1.1.2發送到h二、h3的根目錄下，在h1下分別執行如下命令

scp -r /bdata root@h2:/

scp -r /bdata root@h3:/

4、啓動hadoop

4一、切換到/bdata/hadoop-1.1.2/bin目錄下，並執行格式化hadoop的目錄，此命令是在/bdata/hadoop-1.1.2/hadooptmp下生成hadoop須要的目錄，相關命令以下：

cd /bdata/hadoop-1.1.2/bin

./hadoop namenode -format

4二、啓動hadoop

./start-all

4三、經過命令"jps"，h1中打印出了＂NameNode SecondaryNameNode JobStracker＂，

在h二、h3中打印出"DataNode TaskTracker" 就說明hadoop已經正常安裝。