Kali Linux 如何搭建 Hadoop平臺，Hadoop 僞分佈安裝與使用
大三的第一學期，用1~6周時間簡單的學習瞭解組成原理和計網，雖然結課的很匆忙，可是卻在第7周正式迎來了期待已久的 大數據專業課程，跟隨企業老師學習hadoop和spark，很是的有趣。
課本是用Ubuntu講解的，但我我的並不喜歡Ubuntu，由於Ubuntu缺乏很多東西，得從新安裝或者配置，多是更適合初學者學習和使用吧。而我選擇的是 Kali Linux，一方面是由於這是我使用次數最多和最熟練的一款Linux了，另外一方面是由於信仰，一種對信息安全的信仰，也算最開始最純粹的初心吧（笑哭）。
好了，廢話很少說了，咱們直奔主題！
以下爲個人搭建環境：kali的VMware虛擬機，版本：2020.3。
java
首先，咱們必須明確任務點：
●擁有完善的java環境
●ssh服務可以正常運行
●正式搭建Hadoop平臺
1、Kali Linux安裝Java JDK :
● 判斷是否安裝JDK：
kali默認是自帶了java的，若是不肯定是否安裝了jdk，能夠採用以下任意一條命令來檢測是否安裝java：
node
1.java -verson 2.whereis java（比which搜索範圍大一些，由於除查看PATH下可執行文件外，還會查找源文件和man文件。適用於查找安裝好的命令。）
推薦前兩條命令，如何這兩條沒有出現java的結果，就已經說名沒有安裝jdk了。linux
3.$echo java (等同於which java命令，由於which也只是查找可直接執行的命令，能夠查找別名，查找的就編寫在系統PATH下的可執行文件，which命令適用於查找安裝好的命令。)
固然也可使用find和locate命令來查詢，不過這些都不是本文的重點，僅做簡單介紹。git
若是你的kali已經安裝了java，而且添加到了環境變量中，那麼能夠直接跳轉到第二大步驟了。
● Kali 安裝Java JDK：shell
kali 安裝java的方法是和Ubuntu同樣的，有三種安裝方式，若是不懂朋友能夠移步博主另外一篇文章，有詳細的教程：Ubuntu Linux 安裝 java 的方法
此處只爲沒安裝的朋友提供解壓安裝的簡單教程：jdk-8u91-linux-x64百度網盤（提取碼：nqtg ）
apache
(若是純小白不曉得如何把下載好的文件移動到你的kali虛擬機內，我推薦三種方法：)
1.能夠用kali自帶的火狐瀏覽器下載到你的kali； 2.瞭解如何使用vmwaretools，經過共享文件夾來實現windows和Linux間的直接文件傳輸； 3.百度kali如何使用Xftp 傳輸文件。
點到爲止，不作過多贅述。
xftp 6 百度網盤下載連接 提取碼：n97a
下載好jdk-8u91-linux-x64後，解壓和配置環境變量：
① 解壓：
tar zxvf jdk-8u91-linux-x64.tar.gz -C /opt
vim
（opt是一個第三方軟件習慣安裝目錄，你也能夠換其餘的路徑解壓安裝，好比我習慣把第三方安裝在/home下） tar -zxvf zxvf jdk-8u91-linux-x64.tar.gz -C /usr/lib/jvm 建議解壓在jvm目錄下，通常kali默認自帶的jdk也是在/usr/lib/jvm這個路徑的下。
② 配置環境變量：
1）執行vim /root/.bashrc，並添加如下內容：
windows
# install JAVA JDK
export JAVA_HOME=/被解壓文件所在路徑/jdk1.8.0_91
#例如，個人就是：
#export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_91
export CLASSPATH=.:${JAVA_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
2）執行 source ~/.bashrc使環境變量生效。
③ 安裝並註冊：
瀏覽器
update-alternatives --install /usr/bin/java java /usr/lib/jvm/jdk1.8.0_91 update-alternatives --install /usr/bin/javac javac /usr/lib/jvm/jdk1.8.0_91 update-alternatives --set java /usr/lib/jvm/jdk1.8.0_91 update-alternatives --set javac /usr/lib/jvm/jdk1.8.0_91
④ 檢測：
update-alternatives --config java
update-alternatives --config javac
安全
java -version #output java version "1.8.0_91" Java(TM) SE Runtime Environment (build 1.8.0_91-b14) Java HotSpot(TM) 64-Bit Server VM (build 25.91-b14, mixed mode)
JDK成功無誤！
固然，也可用根據咱們課本這樣去安裝，或者是博主的另外一篇更詳細的博文安裝：Debian系列Linux安裝JDK的三種方式。
2、開啓SSH服務
ssh相似於遠程登錄，可從一臺Linux主機登錄到另外一臺Linux主機，而且運行命令，SSH的在hadoop中的具體應用，讀者能夠百度查閱集羣免密登錄進一步學習瞭解，此處僅作簡要提示。
在安裝hadoop以前須要配置ssh，由於集羣和單節點模式都須要用到SSH登陸。Linux通常是默認自帶ssh的客戶端服務的，缺乏的是服務端SSH server。若是不安裝SSH Server，已經、配置好的單節點SSH服務器和客戶端受權登陸，則沒法啓動將要安裝的僞分佈hadoop。
sudo apt-get install -y openssh-server #網絡在線安裝
● 判斷是否安裝SSH服務：
執行以下命令啓動ssh服務
sudo service ssh start
若是不能成功啓動，則說明未安裝ssh服務。
kali安裝ssh服務
# apt-get install ssh -y
啓用和開始使用 SSH
爲了確保安全 shell 可以使用，在重啓系統後使用systemctl命令來啓用它：
# reboot # systemctl enable ssh
在當前對話執行中使用 SSH:
# service ssh start
● 安裝SSH Server服務器：
# apt-get install openssh-server 配置SSH服務開機啓動 # update-rc.d -f ssh remove # update-rc.d -f ssh defaults # update-rc.d -f ssh enable 2 3 4 5
更改默認的SSH密鑰
# cd /etc/ssh # mkdir ssh_key_backup # mv ssh_host_* ssh_key_backup
建立新密鑰：
# dpkg-reconfigure openssh-server
容許 SSH Root 訪問
默認狀況下 SSH 不容許以 root 用戶登陸，所以將會出現下面的錯誤提示信息：
Permission denied, please try again.
爲了經過 SSH 進入你的 Kali Linux 系統，你能夠有兩個不一樣的選擇。第一個選擇是建立一個新的非特權用戶而後使用它的身份來登陸。第二個選擇，你能夠以 root 用戶訪問 SSH 。爲了實現這件事，須要在SSH 配置文件 /etc/ssh/sshd_config 中插入下面這些行內容或對其進行編輯：
將
#PermitRootLogin prohibit-password
改成：
PermitRootLogin yes
對 /etc/ssh/sshd_config 進行更改之後，需在以 root 用戶登陸 SSH 前重啓 SSH 服務：
# service ssh restart
查看是否安裝成功：
ssh -V
出現以下相似信息，表示你很順利的安裝成功了！
SSH服務安裝開啓成功！
● ssh登錄本機：
ssh localhost
首次登錄SSH會提示，輸入"yes"，按提示輸入密碼就登錄本機了。
若是此時報這種錯：
root@localhost's password:localhost:permission denied,please try again
就更改密碼後再次登錄：
# sudo passwd root # 注意此處的root爲當前登陸本機所在的用戶名，不必定是root # 更改爲功後重啓服務： sudo service ssh restart ssh localhost
此時可以正常登錄了！
ssh安裝無誤後，有興趣的朋友能夠嘗試一下登錄其餘電腦玩玩，好比我用kali登錄另外一臺虛擬機或者是個人Win10嘗試登錄kali虛擬機：
ssh遠程登錄：
ssh 用戶名@ip地址
從上圖能夠看到，Linux在登陸成功以後，會有一些問候信息 balabala。這些文字信息是能夠自定義的：
# vim /etc/motd
寫入你想要的問候文字。
重啓SSH：
# service ssh restart
● 無密登錄設置：
可是這樣每次登入均要輸入密碼，設成無密登錄更方便。
具體操做以下：
# exit # 先退出剛纔的ssh localhost # cd ~/.ssh/ # 若無該目錄，先執行一次ssh localhost建立 # ssh-keygen -t rsa # 所有回車便可 # cat ~/.ssh/id_rsa.pub >> ./authorized_keys # 加入受權
命令 「ssh-keygen -t rsa」 會生成 公鑰和私鑰，默認在該目錄（~/.ssh/）生成id_rsa（私鑰）和id_rsa.pub（公鑰）倆文件。 而 "cat ~/.ssh/id_rsa.pub >> ./authorized_keys" 命令則是將公鑰密碼導入認證文件 authorized_keys 中。
最後，SSH受權完成，再次ssh localhost 則再也不須要密碼了，也再也不影響僞分佈hadoop啓動。
3、正式搭建hadoop ，僞分佈安裝
① 安裝Hadoop：
hadoop有着三種安裝模式，分別是：
（1）單機模式；
（2）僞分佈模式；
（3）分佈模式。
因爲，博主時間緊張，這裏就只給讀者介紹僞分佈的安裝，也是本文的全篇側重點。
首先，下載Hadoop
（1）官網下載地址：Hadoop官方下載 可能下載速度會很慢
(2) 不過博主在這給讀者提供了本身的網盤下載：hadoop2.7和hadoop3.3百度網盤
下載完成後即是安裝和配置了。
● Hadoop安裝文件並解壓：
由於，我是實如今win10下載好後，移動到vmtools指定的共享文件夾開始操做的，因此，博主的初始化目錄即是在/mnt/hgfs目錄下，固然你也能夠用前文中提到的xftp或kali自帶火狐。
注意博主是在root帳號下開始搭建的！
你能夠建立一個新的用戶，或者跟着博主在root下安裝
先建立一個空的文件夾，用來解壓hadoop，你能夠建立在/opt路徑下，或者像博主同樣放在本身喜歡的路徑下。
# mkdir /home/Hadoop
解壓，-C 指定解壓路徑到建立的文件夾路徑
# tar zxvf hadoop-3.3.0.tar.gz -C /home/Hadoop/
受權，具備讀寫文件的權利，不然直接影響其餘相關操做，必需要執行！！
# chown -R root /home/Hadoop/hadoop-3.3.0/
檢測Hadoop是否解壓安裝正確：
# cd /home/Hadoop/hadoop-3.3.0/ # ./bin/hadoop version
如出現以下則 恭喜你安裝無誤！！
Hadoop 3.3.0 Source code repository https://gitbox.apache.org/repos/asf/hadoop.git -r aa96f1871bfd858f9bac59cf2a81ec470da649af Compiled by brahma on 2020-07-06T18:44Z Compiled with protoc 3.7.1 From source with checksum 5dc29b802d6ccd77b262ef9d04d19c4
不然，採用 rm -rf /home/Hadoop 命令刪除掉，回到上一步，耐心的重來。
② 配置Hadoop環境變量：
與java環境變量的配置相似，用編輯器打開.bashrc文件保存修改後，執行source ~/.bashrc命令使其生效：
export HADOOP_HOME=/home/Hadoop/hadoop-3.3.0 # 注意，這裏是你的hadoop解壓安裝路徑 export CLASSPATH=$CLASSPATH:$HADOOP_HOME/lib export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
保存並生效後，即可在任何路徑下使用hadoop命令了
執行生效命令：
# source /root/.bashrc
出現此前執行./bin/hadoop version命令時所出現的信息，則證實環境變量修改無誤
# hadoop version
必定要肯定寫對後再執行生效，避免沒必要要的麻煩，若是有朋友操做不當，致使命令幾乎失效的話，請執行該命令恢復：
export PATH=/sbin:/bin:/usr/sbin:/usr/bin:/usr/local/bin
整個如上執行過程，請參考下圖：
③ 僞分佈模式配置：
首先，得清楚概念，什麼是hadoop的僞分佈運行？
Hadoop的僞分佈運行是指，同一個節點既是名稱節點（Name Node），也是數據節點(Data Node)，讀取分佈式文件系統HDFS的文件。安裝不一樣模式Hadoop，就是修改其配置文件符合模式要求。
Hadoop有倆配置文件，一個是core-site.xml文件，另外一個是hdfs-site.xml，其相對路徑是在 hadoop-3.3.0/etc/hadoop/ 下。
首先，修改core-site.xml配置文件
# vim /home/Hadoop/hadoop-3.3.0/etc/hadoop/core-site.xml
修改添加的內容：
<configuration>
<property>
<name>hadoop.tmp.dir</name>
<value>file:/home/Hadoop/hadoop-3.3.0/tmp</value>
# 注意，這裏的/home/Hadoop/hadoop-3.3.0是指你的hadoop安裝路徑
<description>Abase for other temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property>
<property>
<name>dfs.permissions</name>
<value>false</value>
</property>
</configuration>
詳解：
參數fs.defaultFS爲默認文件系統名稱，其值爲Hadoop的Name Node地址和端口號，如hdfs://localhost:9000，即表示Name Node是本機，端口9000是HDFS的RPC端口，是HDFS的默認端口。
參數hadoop.tmp.dir用於肯定Hadoop文件系統的原信息與數據保存在哪一個目錄下，是Hadoop文件系統依賴的基礎配置，不少路徑都依賴，若是hdfs-site.xml文件中不配置Name Node和Data Node的存放位置，默認放在此路徑中。
參數dfs.permissions的值若是是true則檢查權限，不然不檢查權限（每一個人均可以存取文件），該參數NameNode上設定。
如圖：
其次，修改hdfs-site.xml配置文件
# vim /home/Hadoop/hadoop-3.3.0/etc/hadoop/hdfs-site.xml
修改添加的內容：
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/home/Hadoop/hadoop-3.3.0/tmp/dfs/name</value>
# 注意，這裏的/home/Hadoop/hadoop-3.3.0是指你的hadoop安裝路徑
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/home/Hadoop/hadoop-3.3.0/tmp/dfs/data</value>
# 注意，這裏的/home/Hadoop/hadoop-3.3.0仍然是指你的hadoop安裝路徑
</property>
詳解：
參數dfs.replication指明設置hdfs副本數，由於是僞分佈模式，因此設置爲「1」，默認備份3個副本。
參數dfs.namenode.name.dir 對應的value是存放名稱節點的路徑，參數dfs.datanode.data.dir 對應的value是存放數據節點的路徑。這倆路徑也可自行設置，但最好與臨時文件路徑一致，在初期實驗時，遇到問題能夠一併處理。
Hadoop的運行方式是由配置文件決定的，由於運行Hadoop時會讀取配置文件，若是須要切換模式，只須要從新增長，刪除或者修改core-site.xml和hdfs-site.xml文件中的配置項。
④ Name Node的格式化：
配置完成，執行Name Node的格式化：
# hdfs namenode -format # 因爲，hadoop生效了環境變量，因此在任何路徑下都可執行。
必定要注意，在前面的工做完成無誤以後再執行格式化，格式化只能一次，屢次執行或許會出錯。
出現"successfully formatted"和"Exiting with status 0"的字樣，則證實格式化成功！！祝賀你！
不然，出現"Exiting with status 1"那麼很是不幸！格式化出錯了，建議執行"rm -rf /home/Hadoop/hadoop3.3"命令刪掉hadoop，從新解壓安裝和配置吧！！
除此以外，須要特別強調的一點是首次格式化沒必要刪除dfs及其子文件，此處引入咱們課本：
以及Java沒有配置正確後出現的報錯，也在上述圖中了。
⑤ 啓動和關閉Hadoop
1）start-dfs.sh
start-dfs.sh只啓動Name Node和Data Node，啓動命令以下：
# start-dfs.sh
第一次啓動Hadoop會出現SSH提示：「Are you sure you want to continue connecting(yes/no)?」，輸入"yes"回車！
成功開啓後會有以下信息：
Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [kali]
啓動Hadoop成功後，能夠經過jps查看進程：
C:\home\Hadoop\hadoop-3.3.0> jps 303108 DataNode 303012 NameNode 303453 Jps 303274 SecondaryNameNode
關閉Hadoop的命令：
# stop-dfs.sh
成功開啓後會有以下信息：
Stopping namenodes on [localhost] Stopping datanodes Stopping secondary namenodes [kali]
如上是正確的執行過程顯示！若是 沒有"SecondaryNameNode" ，需先運行stop-dfs.sh，再嘗試啓動。
若是沒有Name Node或Data Node，就是配置不成功！
請仔細檢查以前的操做，或者查看啓動日誌排除來緣由，或者刪掉hadoop從新解壓安裝和配置，的確是靠耐心，仔細認真的操做！
若是到這裏你執行的至關順利，那麼博主對你表示祝賀 !!
從開啓到關閉的執行過程圖：
固然也有像博主同樣，歷經坎坷的朋友（笑哭），遇到問題就想辦法解決吧，害，在瞎折騰中變禿也變強（手動滑稽 ing~,哈哈哈）
或許有朋友會在開啓hadoop的時候就遇到以下報錯：
C:\home\Hadoop\hadoop-3.3.0> start-dfs.sh Starting namenodes on [localhost] ERROR: Attempting to operate on hdfs namenode as root ERROR: but there is no HDFS_NAMENODE_USER defined. Aborting operation. Starting datanodes ERROR: Attempting to operate on hdfs datanode as root ERROR: but there is no HDFS_DATANODE_USER defined. Aborting operation. Starting secondary namenodes [kali] ERROR: Attempting to operate on hdfs secondarynamenode as root ERROR: but there is no HDFS_SECONDARYNAMENODE_USER defined. Aborting operation.
解決方法以下：
對hadoop的sbin下start-dfs.sh和stop-dfs.sh文件均進行修改：
# vim /home/Hadoop/hadoop-3.3.0/sbin/start-dfs.sh # vim /home/Hadoop/hadoop-3.3.0/sbin/stop-dfs.sh
倆文件增添內容所有以下：
#!/usr/bin/env bash HDFS_DATANODE_USER=root HADOOP_SECURE_DN_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
注意添加位置是這兩行以後：
# See the License for the specific language governing permissions and # limitations under the License.
保存並退出vim，再次執行重啓：
# start-dfs.sh
理論是不會有什麼錯了，若是修改這倆文件後，你又遇到和博主同樣新的報錯，博主也提供了新的解決方法：
WARNING: HADOOP_SECURE_DN_USER has been replaced by HDFS_DATANODE_SECURE_USER. Using value of HADOOP_SECURE_DN_USER. Starting namenodes on [localhost] ERROR: JAVA_HOME is not set and could not be found. Starting datanodes ERROR: JAVA_HOME is not set and could not be found. Starting secondary namenodes [kali] ERROR: JAVA_HOME is not set and could not be found.
仍然是修改start-dfs.sh和stop-dfs.sh文件這兩文件，將以前的修改內容所有更改爲：
HDFS_DATANODE_USER=root HDFS_DATANODE_SECURE_USER=hdfs HDFS_NAMENODE_USER=root HDFS_SECONDARYNAMENODE_USER=root
而面對另一個報錯，你可能會很懵逼，我明明是在以前添加了Java的環境變量啊，爲何還會報錯說：「java沒有設置而且也找不到」呢？
JAVA_HOME is not set and could not be found
起初，我鬱悶了會，並且又回過去查看了環境變量配置，琢磨過來又細想過去，環境變量是沒有問題的。後來曉得是得修改hadoop-env.sh來解決。
# vim /home/Hadoop/hadoop-3.3.0/etc/hadoop/hadoop-env.sh
在這個文件中你會發現JAVA_HOME的確是沒有被添加的！
解決方法：手動添加一個環境變量中的Java JDK 路徑，保存並退出便可解決。
如圖：
此處報錯全圖展覽：
再次嘗試啓動和關閉Hadoop和jps進程查看，查看是否正常：
C:\home\Hadoop\hadoop-3.3.0> start-dfs.sh Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [kali] C:\home\Hadoop\hadoop-3.3.0> jps 147891 NameNode 148192 SecondaryNameNode 147985 DataNode 148287 Jps C:\home\Hadoop\hadoop-3.3.0> stop-dfs.sh Stopping namenodes on [localhost] Stopping datanodes Stopping secondary namenodes [kali]
恭喜你，基本完成了Hadoop的僞分佈搭建 ！
若是你還和博主同樣悲催，仍然殘留着小問題：
━(Message from Kali developers) ┃ ┃ This is a minimal installation of Kali Linux, you likely ┃ want to install supplementary tools. Learn how: ┃ ⇒ https://www.kali.org/docs/troubleshooting/common-minimum-setup/ ┃ ┗━(Run 「touch ~/.hushlogin」 to hide this message)
彆着急，博主也爲你寫了解決方案：
報錯意思是說缺乏了輔助工具，咱們安裝便可：
# apt install supplementary tools -y # 記得更換國內源和保證kali linux網絡的正常運營 若是中途又報錯提示： E: dpkg 被中斷，您必須手工運行 ‘dpkg --configure -a’ 解決此問題。 那麼就根據報錯的提示執行： # dpkg --configure -a
等運行結束後，再執行該命令，隱藏提示便可：
# touch ~/.hushlogin
2）start-all.sh
start-all.sh不只啓動Name Node和Data Node，還啓動YARN的ResourceManager和NodeManger。啓動命令以下：
# start-all.sh # jps # 查看全啓動的Hadoop進程
關閉命令以下：
# stop-all.sh
注意，養成好習慣，開啓不用時就關閉退出，避免其餘錯誤的發生。
固然，在這裏博主又遇到了報錯，好悲催，不過熱心的博主也爲你解決了，哈哈（笑哭）：
報錯代碼以下：
ERROR: Attempting to operate on yarn nodemanager as root ERROR: but there is no YARN_NODEMANAGER_USER defined. Aborting operation. Stopping resourcemanager ERROR: Attempting to operate on yarn resourcemanager as root ERROR: but there is no YARN_RESOURCEMANAGER_USER defined. Aborting operation.
咱們只須要根據報錯在start-yarn.sh和stop-yarn.sh文件的第二行中添加信息便可：
# vim /home/Hadoop/hadoop-3.3/sbin/start-yarn.sh # vim /home/Hadoop/hadoop-3.3/sbin/stop-yarn.sh
添加內容以下：
YARN_RESOURCEMANAGER_USER=root HADOOP_SECURE_DN_USER=yarn YARN_NODEMANAGER_USER=root
以下圖：
最後，重啓關閉Hdoop和jps進程查看來檢驗：
C:\home\Hadoop\hadoop-3.3.0> start-all.sh Starting namenodes on [localhost] Starting datanodes Starting secondary namenodes [kali] Starting resourcemanager Starting nodemanagers C:\home\Hadoop\hadoop-3.3.0> jps 377207 SecondaryNameNode 376983 DataNode 376887 NameNode 377478 NodeManager 377614 Jps 377387 ResourceManager C:\home\Hadoop\hadoop-3.3.0> stop-all.sh Stopping namenodes on [localhost] Stopping datanodes Stopping secondary namenodes [kali] Stopping nodemanagers Stopping resourcemanager C:\home\Hadoop\hadoop-3.3.0>