Hadoop簡單安裝配置

Hadoop開始設計以Linux平臺爲運行目標，因此這裏推薦在Linux發行版好比Ubuntu進行安裝，目前已經有Hadoop for Windows出來，你們自行搜下文章。

Hadoop運行模式分爲單機、僞分佈式、真實分佈式三種，默認安裝到本地後是單機模式。

 

1. 安裝Jdk

Hadoop是用Java編寫的，因此須要先裝jdk，在oracle官網（http://www.oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html）下載壓縮包後，放置到/opt目錄下，用以下命令解壓

sudo tar -xvf jdk-8u77-linux-x64.tar.gz

加入環境變量JAVA_HOME和PATH

export JAVA_HOME=/opt/jdk1.8.0_77
export PATH=/opt/jdk1.8.0_77:${PATH}

 

2. 下載安裝Hadoop

在官網下載，這裏下載Hadoop-1.2.1版本爲例子，下載tar.gz壓縮包（https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/），一樣防止在/opt目錄下

以下命令解壓

sudo tar -xvf hadoop-1.2.1.tar.gz

加入環境變量HADOOP_HOME和PATH

export HADOOP_HOME=/opt/hadoop-1.2.1
export PATH=/opt/hadoop-1.2.1/bin:${PATH}

進入/opt/hadoop-1.2.1/conf目錄中，打開hadoop環境變量配置文件hadoop-env.sh，解開JAVA_HOME並修改上本身的jdk目錄

 

若是須要將環境變量永久配置建議修改我的目錄下的Profile文件：

sudo gedit ~/.bashrc

並在末尾添加

export JAVA_HOME=/opt/jdk1.8.0_77

export PATH=$PATH:$JAVA_HOME/bin

export HADOOP_INSTALL=/opt/hadoop-1.2.1

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

 

3. 設置ssh免密碼登陸

輸入如下命令聲明ssh祕鑰，整個過程都直接回車，不須要輸入任何密碼信息

ssh-keygen

最後會在你的我的目錄下的.ssh文件夾中生成一個id_rsa.pub文件，繼續執行下面命令將該祕鑰追加到authorized_keys中：

sudo cp /home/xxx/.ssh/id_rsa.pub /home/xxx/.ssh/authorized_keys

這個時候執行下列命令看看是否能登錄

ssh localhost

若是出現下列錯誤的話說明你本地沒有裝openssh-server

ssh: connect to host localhost port 22: Connection refused [closed]

則安裝openssh-server

sudo apt-get install openssh-server

 

若是出現下列提示，說明你要本地的openssh-client的版本已通過時，須要更新了

由於openssh-server是要依賴client的話，按照如上的截圖提示信息，須要安裝對應的openssh-client版本：

sudo apt-get install openssh-client=1:5.3p1-3ubuntu3

安裝完後，則能夠安裝openssh-server了。隨後啓動ssh服務，並查看ssh服務是否啓動

這個時候ssh localhost就能夠登陸本地了

 

到此，本地Hadoop安裝完畢