Hadoop安裝及配置

一、虛擬機免密登錄

       免密登錄是爲了後面啓動Hadoop服務方便而操作,不然每個Hadoop服務啓動都需要輸入密碼(如果本機已生成祕鑰,則只需把id_rsa.pub的內容拷貝一份至同目錄下的authorized_keys中即可)。這裏我用的是一臺全新的虛擬機來演示。

在這裏插入圖片描述
在這裏插入圖片描述


二、解壓文件並授權

1.解壓文件

        將準備好的安裝包(這裏用的hadoop-2.6.0版本)解壓到指定文件夾下,這裏我解壓到了software文件夾下並且改名爲hadoop260;

在這裏插入圖片描述
       下一步我們需要還要將hadoop的native安裝包解壓到hadoop的lib文件夾下的native文件夾中;

在這裏插入圖片描述


2.授權用戶和組

       爲了後續程序正常運行,我們提前改變hadoop文件的權限

在這裏插入圖片描述


三、配置環境變量和Hadoop

1.配置環境變量

       配置HADOOP_HOME並在path里加入bin目錄和sbin目錄;

在這裏插入圖片描述
在這裏插入圖片描述
       環境變量配置好之後記得重啓—>source /etc/profile,之後再echo查看即可;

在這裏插入圖片描述


2.更改配置文件

       需要配置的xml文件在hadoop根目錄的etc/hadoop文件夾下,我們進入之後開始修改;

在這裏插入圖片描述
       hadoop-env.sh這裏只需要將JAVA_HOME配置好即可;
在這裏插入圖片描述
       之後還有兩個xml文檔需要配置;
在這裏插入圖片描述
在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
       上述步驟均配置完成之後,我們需要對hadoop進行初始化(我的在hadoop260/sbin目錄下);

在這裏插入圖片描述
       初始化完畢後啓動hdfs的服務;jps可以查看Hadoop的服務;

在這裏插入圖片描述
       驗證是否成功,打開瀏覽器,輸入虛擬機的ip地址,端口號50070,查看是否能成功登陸

在這裏插入圖片描述


3.Yarn配置

       需要配置的xml文件在hadoop根目錄的etc/hadoop文件夾下,我們進入之後開始修改;
在這裏插入圖片描述
在這裏插入圖片描述

在這裏插入圖片描述
在這裏插入圖片描述
       上述配置完畢後啓動yarn服務;

在這裏插入圖片描述

       驗證是否成功,打開瀏覽器,輸入虛擬機的ip地址,端口號8088,查看是否能成功登陸;
在這裏插入圖片描述

上述都成功,恭喜你!配置Hadoop全部完成!


PS:作者是一枚剛入編程的小白,如果有寫錯或者寫的不好的地方,歡迎各位大佬在評論區留下寶貴的意見或者建議,敬上!如果這篇博客對您有幫助,希望您可以順手幫我點個贊!不勝感謝!

原創作者:wsjslient

作者主頁:https://blog.csdn.net/wsjslient