Hadoop單機模式安裝

按照《Hadoop權威指南(第2版)》來講，hadoop的單機模式又叫作獨立模式（standalone或者local mode），無需運行任何守護進程（daemon），全部程序都在單個JVM上執行，因爲在本機模式下測試和調試MapReduce程序比較方便，所以該模式適宜用在開發階段

環境及軟件

JDK1.7

Hadoop-2.6.0

Ubuntu server 14.04

建立hadoop用戶組和hadoop用戶

*圖中出現的「/home/hadoop已經存在。沒有從/etc/skel複製文件」是由於我以前已經創建過一次hadoop帳戶，因此不會自動生成hadoop的home目錄

爲hadoop用戶添加權限

編輯/etc/sudoers文件

sudo vi /etc/sudoers

在「root    ALL=(ALL:ALL) ALL」下面添加

hadoop  ALL=(ALL:ALL) ALL

而後保存，此時有可能會提示保存不成功，須要添加！強制執行，強制執行便可

 

切換到hadoop賬號登陸

 

 

安裝SSH並啓動

sudo apt-get install openssh-server
sudo /etc/init.d/ssh start

設置免密碼登陸

生成私鑰和公鑰

ssh-keygen -t rsa -P ""

執行完命令時候，會提示「Enter file which to save the key」，直接回車便可

這時候在/home/hadoop/.ssh目錄下會有一個.ssh文件生成id_rsa和id_rsa.pub兩個密鑰文件

而後將公鑰追加到authorized_keys中

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

測試ssh 無密碼登陸

ssh localhost

出現以下圖所示即爲成功

exit退出ssh登陸

安裝JDK，配置環境變量

參考：JAVA筆記整理（二），下載安裝JDK

安裝hadoop

將hadoop解壓至/opt/ hadoop-2.6.0

sudo tar -zxvf hadoop-2.6.0.tar.gz

將文件夾更名爲hadoop2.6

sudo mv hadoop-2.6.0/ /opt/hadoop2.6

給hadoop用戶添加對該目錄的權限

sudo chmod 777 /opt/hadoop2.6

配置環境變量

sudo vi ~/.bashrc

在文件末端添加以下代碼並保存

export HADOOP_INSTALL=/opt/hadoop2.6
export PATH=$PATH:$HADOOP_INSTALL/bin
export PATH=$PATH:$HADOOP_INSTALL/sbin
export HADOOP_MAPRED_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_HOME=$HADOOP_INSTALL
export HADOOP_HDFS_HOME=$HADOOP_INSTALL
export YARN_HOME=$HADOOP_INSTALL
export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native
export HADOOP_OPTS="-Djava.library.path=$HADOOP_INSTALL/lib"

使環境變量生效

source ~/.bashrc

使用hadoop自帶的wordcount來驗證是否安裝成功

　　1.在/home/hadoop下建立test文件夾

      2.在test下建立文件一個文本文件，裏面寫上若干內容，最好字數多一些（能夠將hadoop目錄下的README.TXT複製過去）

      3進入/opt/hadoop目錄下，執行命令

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.6.0-sources.jar org.apache.hadoop.examples.WordCount /home/hadoop/test /home/hadoop/output

執行如圖所示

而且在   /home/hadoop/下生成了output文件夾

 

至此，hadoop單機模式已經安裝成功！

 

參考自：

http://www.cnblogs.com/kinglau/p/3794433.html

http://www.cnblogs.com/luwikes/archive/2011/11/03/2234739.html

http://www.powerxing.com/install-hadoop/

《hadoop權威指南 第二版》