HDP發行版本ambari2.6.2.2安裝指南

ambari2.6.2.2安裝指南

1，基礎軟件準備：
操做系統環境：服務器linux內核3.1.0；redhat發行版本7.3，自帶python2.7版本；
1.1，須要安裝python2.7.5-devel.x86_64開發包，須要安裝git，須要安裝jdk1.8+，安裝ntp服務；關閉iptables服務; 關閉suselinux安全；

1.2，準備mysql，安裝mysql5.7，啓動mysql，
建立用戶ambari,數據庫ambari,受權給ambari用戶，下面設置ambari-server的時候須要；
建立用戶hive,數據庫hive，並受權，安裝hive的時候須要；
建立用戶superset,數據庫superset，並受權；
Mysql用戶root/###; ambari/###; hive/####; superset/###;
下載mysql jdbc驅動，放目錄/usr/share/java下面，後面ambari server須要設置此路徑；

1.3，安裝apache http2.4服務器，後面建立本地倉庫使用本服務器；

1.4，安裝依賴包libtirpc-devel-0.2.4-0.8.el7.x86_64.rpm，與使用Linux的libtirpc包版本一致，否則後面安裝hdp的時候報錯；

1.5 配置Hostname，這裏配置三臺機器：
master1.hadoop.yspay
slave1.hadoop.yspay
slave2.hadoop.yspay
同時編輯etc/hosts文件，增長ip hostname對應關係

2，選擇機器master1.hadoop.yspay準備本地yum倉庫（否則安裝大部分會失敗，安裝包有幾十g）
2.1 在apache http目錄/var/www/html目錄建立文件夾ambari和hdp；並受權新建目錄爲o=rx;
cd /var/www/html
mkdir ambari
mkdir hdp

2.2 安裝yum倉庫建立工具 
yum install yum-utils createrepo

2.3 下載hdp&ambari官方倉庫repo文件
hdp 
wget http://public-repo-1.hortonworks.com/HDP/centos7/2.x/updates/2.6.5.0/hdp.repo  -O /etc/yum.repo.d
ambari 
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/ambari.repo -O /etc/yum.repo.d

同時copy ambari.repo到全部待安裝的機器上,hdp.repo不須要拷貝，只須要在製做本地倉庫的機器上存在
scp ambari.repo root@'10.213.33.7*':/etc/yum.repo.d/

2.3 同步hdp官方倉庫到本地
cd /var/www/html/hdp
reposync -r HDP-2.6.5.0                           
reposync -r HDP-GPL-2.6.5.0                     
reposync -r HDP-UTILS-1.1.0.22
cd /var/www/html/ambari
reposync -r ambari-2.6.2.2
同步遠程倉庫到本地過程須要幾個小時，耐心等待

2.4  建立本地yum倉庫
cd /var/www/html
createrepo ambari
createrepo hdp

2.5 受權文件rx權限給apache用戶
cd /var/www/html
chmod -R o=rx ambari
chmod -R o=rx hdp

經過上面步驟，就能夠在瀏覽器上面瀏覽本地yum倉庫的安裝包目錄結構了 訪問路徑：localhost:80/ambari localhost:80/hdp

2.6 修改三臺機器上面的ambari.repo的倉庫源地址爲本地倉庫的地址
[ambari-2.6.2.2]
name=ambari Version - ambari-2.6.2.2
#baseurl=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2
baseurl=http://master1.hadoop.yspay/ambari
#gpgcheck=1
gpgcheck=0
gpgkey=http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.6.2.2/RPM-GPG-KEY/RPM-GPG-KEY-Jenkins
enabled=1
priority=1

修改#屏蔽的兩處baseurl&gpgcheck

完成yum倉庫本地化以後，安裝就會快不少了

3 安裝ambari服務
3.1安裝ambari服務端
yum install ambari-server

3.2配置ambari服務
ambari-server setup
按提示進行，通常都默認；只有配置過程當中注意選擇mysql做爲數據庫，數據庫地址設置爲安裝mysql的服務器ip或者hostname，用戶和庫都爲ambari

3.3配置mysql 驅動路徑
ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java-5.1.45.jar
若是還提示驅動路徑須要配置的話
vi /etc/ambari-server/conf/ambari.properties 
增長一行：server.jdbc.driver.path=/usr/share/java/mysql-connector-java-5.1.45.jar

3.4執行mysql ambari數據庫的初始化腳本
mysql -uambari -p -Dambari</var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

3.5開啓ambari-server服務
ambari-server startup

如今能夠在瀏覽器上面輸入 http://機器ip:8080訪問ambari服務了

4 安裝ambari客戶端
4.1 安裝
yum install ambari-agent

4.2 配置agent，指向ambari-server地址
vi /etc/ambari-agent/conf/ambari-agent.ini
修改hostname=master1.hadoop.yspay （這臺爲安裝ambari-server的機器）

4.3 啓動ambari-agent
ambari-agent startup

5 安裝hdp發行版本的hadoop套裝

如今能夠在瀏覽器上面輸入 http://機器ip:8080訪問ambari服務，選擇install wizard開始安裝
關鍵是第二步Select Version，
默認是版本是HDP2.6.5，選擇本地倉庫Use Local Repository，不要使用public Repository，設置redhat7這個linux版本的倉庫地址爲本地倉庫地址：
redhat7
HDP-2.6
Enter Base URL or remove this OS 輸入 http://master1.hadoop.yspay/hdp/HDP-2.6.5.0/
HDP-2.6-GPL
Enter Base URL or remove this OS 輸入 http://master1.hadoop.yspay/hdp/HDP-GPL-2.6.5.0/
HDP-UTILS-1.1.0.22
輸入 http://master1.hadoop.yspay/hdp/HDP-UTILS-1.1.0.22
後續步驟基本很簡單，若是有問題，能夠查看日誌解決

6 配置hdfs的ha模式
進入ambari界面http://10.213.33.70:8080/ ->dashboard ->HDFS -> 界面右上service actions -> Enable NameServer HA

7 配置yarn的ha模式
進入ambari界面http://10.213.33.70:8080/ ->dashboard ->YARN -> 界面右上service actions -> Enable ResourceManager HA

若是啓用HA後，以爲zk不穩定致使HA切換頻繁，能夠禁止HA，這時候須要手動指定master 

hdfs  haadmin -failover --forcefence --forceactive  nn2 nn1