hadoop安裝

 

安裝環境:ubuntu

一.準備工做

下載jdk,下載hadoop

安裝JDK,安裝過程略,運行 source ~/.bashrc當即生效

安裝SSH,運行：

sudo apt-get install ssh

建立一個空密鑰:

ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

輸入：ssh localhost，不用密碼登陸則說明配置成功了。

二.hadoop僞分佈安裝

解壓hadoop文件，修改配置：

conf/core-site.xml:

<configuration>
     <property>
         <name>fs.default.name</name>
         <value>hdfs://localhost:9000</value>
     </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>1</value>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>localhost:9001</value>
     </property>
</configuration>

格式化HDFS文件系統:bin/hadoop namenode -format

啓動：bin/start-all.sh

jps查看JVM實例：

xxx    TaskTracker
xxx    DataNode
xxx    JobTracker
xxx    SecondaryNameNode
xxx    Jps
xxx    NameNode

查看地址：

NameNode - http://localhost:50070/

JobTracker - http://localhost:50030/
 

 三.全分佈安裝

集羣機器三臺：

192.168.56.101 master

192.168.56.102 slave1

192.168.56.103 slave2

保證各集羣機安裝了java,下載hadoop安裝文件

爲了方便管理可建立一個特定的用戶， 

 

sudo addgroup hadoop
sudo adduser --ingroup hadoop hadoop

將hadoop文件的擁有者改成hadoop用戶

sudo chown -R hadoop:hadoop hadoop

經過hadoop帳號配置SSH,具體過程參見上文

vim /etc/hosts
192.168.56.101 master
192.168.56.102 slave1
192.168.56.103 slave2

修改/etc/hostname的主機名（如;master,slave1等）

 

配置hadoop-env.sh的export JAVA_HOME=

如下配置的目錄須要確認有權限和目錄存在，不然會出現問題。

conf/core-site.xml:

<configuration>
    <property>
         <name>fs.default.name</name>
         <value>hdfs://master:9000</value>
   	<final>true</final>
    </property>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>/data/hadoop/tmp</value>
         <final>true</final>
    </property>
</configuration>

conf/hdfs-site.xml:

<configuration>
     <property>
         <name>dfs.replication</name>
         <value>2</value>
         <final>true</final>
     </property>
     <property>
         <name>dfs.name.dir</name>
         <value>/data/hadoop/hdfs/name</value>
         <final>true</final>
     </property>
     <property>
         <name>dfs.data.dir</name>
         <value>/data/hadoop/hdfs/data</value>
         <final>true</final>
     </property>
</configuration>

conf/mapred-site.xml:

<configuration>
     <property>
         <name>mapred.job.tracker</name>
         <value>master:9001</value>
     </property>
</configuration>

 

conf/masters:

master

conf/slaves:

slave1
slvae2

最後啓動hadoop:

bin/hadoop namenode -format#set java environment

bin/start-all.sh

ps:注意文件權限問題。。啓動的適合我發現如下這個問題

WARN org.apache.hadoop.hdfs.server.datanode.DataNode: Invalid directory in dfs.data.dir: Incorrect permission for /xxx/data, expected: rwxr-xr-x, while actual: rwxrwxr-x

經過修改文件權限解決了