從零自學Hadoop(06)：集羣搭建

時間 2019-12-01

原文原文鏈接

閱讀目錄

本文版權歸mephisto和博客園共有，歡迎轉載，但須保留此段聲明，並給出原文連接，謝謝合做。html

文章是哥(mephisto)寫的，SourceLinkvim

序

　　上一篇，咱們把Ambari的環境基本搭建好了，那麼咱們趁熱打鐵，打造咱們的第一個HDP集羣，這樣，離咱們下一步就愈來愈近了，在安裝中仍是會碰到不少想不到的狀況的。因此，注意分析，找到解決方法很重要。瀏覽器

　　對了，這裏咱們仍是多搭建了一個機器H34,怕集羣機器不夠。你們按照原來的步驟在作一個吧。服務器

集羣搭建

一：登錄

　　使用咱們設置的Ambari服務器登錄，還記得麼，在H30上面。運維

二：主界面

　　咱們看到圈起來的地方就是咱們要搭建集羣的地方。ssh

三：新建集羣

　　這裏，咱們使用MyCluster做爲咱們第一個集羣的名稱。oop

四：選擇HDP版本和源

　　咱們固然選擇最新的HDP2.3，玩就玩最新的，要不總是在別人後面，多很差啊。性能

　　這裏咱們得設置HDP和 HDP-UTILS的源，咱們已經搭建好了倉庫，能夠直接使用本地源了。spa

五：將SSH私有Key放到本機

　　因爲是頁面登錄，固然若是H30開啓了GUI界面，是能夠不用這個操做的。code

　　目前咱們使用的沒有GUI界面的Linux，因此，得在瀏覽器使用的機器上能使用的到ssh private key。

　　過程很簡單，就不上圖了。

六：選擇帶集羣的機器

　　這裏咱們選擇了事前準備好的H31,H32,H33這3臺機器，因爲本機的性能通常，很快內存，IO就佔滿了，因此沒有使用不少的機器作集羣。

七：修改ambari.repo文件
vim /etc/yum.repos.d/ambari.repo
　　將線上庫改爲本地的http資源。

八：Confirm Hosts

　　覈實主機羣。確保這裏待集羣主機有符合的運行環境。

九：選擇待安裝庫

　　咱們根據本身的須要來選擇帶安裝的。

十：集羣結構搭建

　　咱們選擇H31做爲主NameNode,H32做爲Second NameNode。

十一：集羣結構搭建2

　　選擇H31，H32做爲NodeManager,H33,H34做爲DataNode

十二：自定義服務羣

　　這裏，一半NameNode須要比較大內存的，可是沒辦法，因此這裏也不自定義修改了，就那麼多，全用了。

十三：Review

　　Review下咱們的配置狀況。

十四：Deploy

　　開始安裝等環節了。

十五：Deploy2

　　咱們能夠看到success了。

十六：Summary

　　安裝過程的總結。

監控

一：儀表盤

　　在這裏，咱們能夠全面，直觀的看到整個集羣的運行狀況，能夠大大的提升了運維的效率。

二：服務

　　在這裏，能夠看到例如HDFS,Zookeeper,SparK這些服務的狀況。

三：Hosts

　　咱們能夠看到，集羣中全部的主機信息，狀態。

四：報警

　　若是集羣中出現了什麼問題，這裏是能夠實時的監控的到的，非常方便。

　　　　　　　　　　　　到此，咱們這章節的內容已經完畢，基本上環境搭建的部分告一段落，後面咱們就是對HDP的應用了。