記錄下使用Ambari部署HDP集羣的過程

時間 2021-08-15

由於公司的業務需求，需要在公司的測試環境上搭建一套HDP集羣，當然搭建工具還是首選集羣管理神器 Ambari。

本次環境搭建採用的是YUM源離線的安裝方式。(因爲Ambari的rpm包和HDP的rpm包很大，加起來一共得有11個G左右)

首先先說明下本次搭建環境：

共3個節點，6G內存。

Linux系統使用的是centos6.5

ambari版本爲2.4

HDP版本爲2.4.2

HDP-UTILS-1.1.0.20

以下是資源的下載路徑：

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.4.0.1/ambari.repo

http://public-repo-1.hortonworks.com/ambari/centos6/2.x/updates/2.2.2.18-1/ambari-2.2.2.18-centos6.tar.gz

http://public-repo-1.hortonworks.com/HDP/centos6/2.x/updates/2.4.2.0/HDP-2.4.2.0-centos6-rpm.tar.gz
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.20/repos/centos6/HDP-UTILS-1.1.0.20-centos6.tar.gz

在安裝之前請先把這三個文件下載下來。

下面開始進行安裝：

進行安裝前準備環境的設置：

1、首先保證集羣之間的映射關係配置完整：vi /etc/hosts 中把所有的節點都添加到hosts文件中。

2、關閉防火牆

集羣之間必須關閉防火牆。將每臺機器的防火牆關閉。

關閉防火牆命令: chkconfig iptables off

3、配置ssh免登陸。在每臺機器上執行ssh-****** -t rsa

生成ssh祕鑰後將祕鑰拷貝給自己 ssh-copy-id 主機名

在每臺機器上都生成祕鑰以後，就將祕鑰拷貝給自己。然後執行下ssh 主機名 ,查看ssh是否生效。將祕鑰拷貝給自己後，到主節點上，將master的祕鑰拷貝到從節點。拷貝方式是一樣的。ssh-copy-id 從節點機器名。(只有將master的祕鑰拷貝過去，才能夠登錄到其他機器)。拷貝完成後同樣測試下，看能否登錄到其他節點。

4、關閉selinux

在每臺機器上都得關閉selinux。找到selinux的配置文件 vi /etc/selnux/config ，修改完成後重啓生效。

5、進行時間同步，啓動NTP服務。(詳細參考本人寫的Linux下ntpd進行時間同步 http://blog.csdn.net/wsnbbdmm/article/details/77822031)

以下操作均在主節點上操作：將主節點作爲時間服務器。

採用ntp服務來進行時間同步。在配置之前應該先查看是否有此服務。 rpm -qa | grep ntpd

如果沒有的話就採用yum源安裝 yum install ntpd，安裝成功後查看服務是否啓動 service ntpd status

然後開始編輯ntpd的配置文件： vi /etc/ntp.conf 修改圖中的幾個地方。

修改完成後重啓。然後在其他節點上進行時間同步。使用命令 ntpdate 主機名進行時間同步。

6、查看機器上是否安裝有httpd服務。如果沒有的話使用yum install httpd安裝。

查看是否啓動。如果沒有啓動的話請啓動。

7、安裝mysql。mysql作爲ambari工具元數據的存儲。安裝的具體方式請參考本人的博客----linux中安裝mysql方式。

在mysql中創建庫ambari，創建用戶 ambari和密碼ambari。並給用戶授權ambari庫(名字隨意)

create database ambari;
create user 'ambari'@'%' identified by 'ambari';
grant select,insert,update,delete,create on ambari.* to ambari;
grant all privileges on ambari.* to [email protected]'%' identified by 'ambari'
grant all privileges on ambari.* to [email protected]'192.168.108.128' identified by 'ambari'

flush privileges

下面開始安裝ambari：

先將ambari的安裝包解壓，tar -zxvf 命令解壓到 /var/www/http/目錄下邊。並且重命名 mv ./Ambari-2.4.0.1 ./ambari

修改ambari的yum源文件 ambari.repo文件。主要修改Baseurl和gpgkey兩個地方。將url指向你解壓路徑。/var/www/html/ambari/centos6/2.4.0.1.1-1下就可以了

將ambari.repo文件上傳到yum源路徑下 /etc/yum.repo/下。然後啓動httpd服務。service httpd start （如果啓動則不需要此步驟）

然後在瀏覽器輸入你的主機ip端口80訪問 http://192.168.1.1:80/ambari 訪問你的本地倉庫.

到此。離線倉庫配置完成。

離線倉庫配置完成後就可以採用yum install ambari-server的方式安裝ambari服務了。