linux hadoop安裝

linux hadoop安裝

本文介紹如何在Linux下安裝僞分佈式的hadoop開發環境。

在一開始想利用cgywin在 windows下在哪， 可是一直卡在ssh的安裝上。因此最後換位虛擬機+ubuntu安裝。

選擇的版本是hadoop 2.7.2 安裝步驟雖然簡單，可是中間遇到的小問題仍是比較多的，總結下安裝hadoop主要分爲3大部：

1. 安裝ssh
2. 安裝 jdk
3. 安裝hadoop

安裝ssh

1. sudo apt-get install ssh
2. mkdir /home/user/.ssh
3. cd /home/user/.ssh
4. ssh-keygen 一路next
5. cat id_dsa.pub >> authorized_keys 設置證書
6. ssh localhost 測試

注意幾點：

1. 安裝Ubuntu的時候不要開啓root 登錄
2. 注意.ssh文件夾的權限

否則localhost的時候報 permission denied

安裝java

1. sudo add-apt-repository ppa:webupd8team/java
2. sudo apt-get update
3. sudo apt-get install oracle-java8-installer

設置JAVA_HOME

1. sudo vim /etc/profile
2. 在profile文件末尾加入：
   export JAVA_HOME=/usr/lib/jvm/java-8-oracle
   export PATH=$JAVA_HOME/bin:$PATH
   export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
3. 用echo ${JAVA_HOME}校驗環境變量是否正確
4. java -version; javac -verison 校驗jdk是否安裝正確

安裝hadoop

下載好hadoop，解壓完畢。
在僞分佈式下須要配置以下幾個文件， 他們都在etc/hadoop下

mapred-site.xml.template

<configuration>
　<property>
　　　<name>mapred.job.tracker</name>
　　　<value>localhost:9001</value>
　</property>
</configuration>

core-site.xml

<configuration> 
    <property>
        <name>hadoop.tmp.dir</name>
        <value>file:/home/sld/app/hadoop-2.7.2/tmp</value>
    <description>Abase for other temporary directories.</description>
    </property>
    <property>
    <name>fs.defaultFS</name>
    <value>hdfs://localhost:9000</value>    
    </property>
</configuration>

hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>file:/home/sld/app/hadoop-2.7.2/tmp/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>file:/home/sld/app/hadoop-2.7.2/tmp/dfs/data</value>
  </property>
</configuration>

hadoop-env.sh

export JAVA_HOME=「你的JDK安裝地址」

注意一點的是就是在環境變量中設置的了JDK的路徑這裏還要設置
注意另一點： 輸出路徑最好設置到hadoop目錄下， 部分在格式化的時候無法格式化到

啓動hadoop

在啓動Hadoop前，需格式化Hadoop的文件系統HDFS(這點與Windows是同樣的，從新分區後的卷老是須要格式化的)。進入Hadoop文件夾，輸入下面的命令

bin/hadoop namenode -format

而後啓動

sbin/start-all.sh

也能夠只啓動 hdfs

sbin/start-hdfs.sh

若是要關閉hadoop能夠用

sbin/stop-hdfs.sh

驗證hadoop

利用jps命令查看java的進程

SecondaryNameNode
DataNode
NameNode
NodeManager
ResourceMananger

若是缺失 DataNode或者 NameNode 說明 hdfs-site.xml 沒有配置好。從新配置+格式化+啓動

Hadoop 啓動之後會有兩個地址能夠方位：

http://localhost:50030 (MapReduce的Web頁面)
 http://localhost:50070 (HDFS的Web頁面)

　　

而後

curl http://localhost::50070

也能夠在虛擬機外面方位：

http://192.168.20.129:50070