linux Hadoop 探索-hadoop單機模式

運行環境

ubuntu版本------ubuntukylin-14.04.2 64位版本

Hadoop版本------Hadoop2.6.4-release

虛擬機版本-------VMware Workstation Pro 12.0

Jvm版本---------Jdk1.7以上

安裝步驟

1．安裝ubuntu

虛擬機安裝ubuntu時安裝完一個虛擬機後可選擇clone直接複製出來相同的克隆版本省去安裝時間

安裝ubuntu並創建hadoop用戶，爲後續集羣ssh通道作預備，不建議使用root用戶進行一系列操做，具體緣由百度，root遠程可對系統資源進行任意修改，切記，具體shell腳本以下

groupadd hadoop
useradd -mg hadoop hadoop
#-m指的是在/home/目錄下新建一個與用戶名相同的文件夾
#-g指的是添加用戶組
passwd hadoop
#回車後將密碼設置成123456 ps:密碼限於開發調試，生產環境切勿大意，設立複雜度高密碼保障安全

 

1．安裝jvm

下載Java對應版本的tar.gz包以下圖所示

 

Ps：centos下 下載rpm包可直接使用RPM命令進行安裝，ubuntu下建議使用gz包進行安裝，筆者嘗試安裝rpm插件進行rpm安裝，把系統搞殘了 有經驗的大神歡迎留言指導，謝過了

在/usr/lib目錄下新建jvm目錄，將gz包解壓到/usr/lib/jvm目錄下，並將java-***包重命名爲java 重命名命令

Mv java-***** java

打開環境變量預執行文件 gedit /etc/profile

添加這幾行環境變量

export JAVA_HOME=/usr/lib/jvm/java
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

輸入命令後重啓系統或者直接執行source /etc/profile 執行預加載腳本變量

 

 

輸入命令java -version 打印出現如上圖所示版本信息，表明jdk安裝成功

2．調試hadoop單機運行

進入hadoop腳本環境配置文件

 

gedit /opt/hadoop/hadoop/etc/hadoop/hadoop-env.sh

 

 

將JAVA_HOME修改成絕對路徑.

Ps:至於爲何默認配置的${JAVA_HOME}不起做用，筆者暫時未找到緣由歡迎大神們進行補充

 

#配置hadoop ssh 無密碼登陸 --需求背景，因爲hadoop集羣動轍幾十上百臺機器進行集羣計算

假如進行密鑰輸入認證會增長許多運維的工做量，因此社區內廣泛進行公有密鑰進行交換比對登陸

進入hadoop用戶home目錄 /home/hadoop/ 找到 .ssh 目錄沒有則新建，注意將文件夾全部權修改成hadoop用戶全部

安裝ssh服務

sudo apt-get install openssh-server
sudo apt-get install openssh-client

嘗試輸入命令ssh localhost 出現輸入密碼界面則表明ssh服務端與客戶端安裝成功

 

l 配置免密碼登陸

進入hadoop用戶home目錄下

cd /home/hadoop

能看見.sshwe文件夾，進入.ssh文件夾

執行一下命令生成ssh免登陸的公鑰和私鑰

ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa

這個命令會在.ssh文件夾下建立id_dsa和id_dsa.pub兩個文件，這是SSH的一對私鑰和公鑰

如今把id_dsa.pub追加到公鑰中去，執行如下命令

cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys

如今切換到hadoop用戶登陸，在嘗試用ssh進行遠程鏈接

ssh localhost是否是獲得如下畫面

 

 

表明免登陸配置成功

 

進入hadoop目錄/opt/hadoop/hadoop/

執行./sbin/start-all.sh 腳本啓動hadoop

因爲是單機運行hadoop，nameNode 和 Jobtracker都沒有啓動如何查看hadoop是否啓動呢？

查看HDFS文件系統

./bin/hadoop fs -ls /

 

出現以上信息，恭喜，表明你單機安裝hadoop成功。Hdfs文件結構就是如linux同樣

 

下一章推出hadoop僞單機集羣模式，敬請期待，各位看官有哪不懂或者有疑問，歡迎留言