使用Ambari搭建HDP版本Hadoop3集羣

1、官方安裝文檔

Ambari安裝文檔
HDP集羣安裝文檔

2、搭建yum源

參考網上教程，安裝httpd，把下面安裝包壓後放到/var/www/html目錄下。重啓httpd。
訪問http://127.0.0.1:80，看是否正常。

#下載ambari安裝包和repo文件
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari.repo
wget http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.3.0/ambari-2.7.3.0-centos7.tar.gz
#下載HDP安裝包和repo文件
wget http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/HDP-3.1.0.0-centos7-rpm.tar.gz
wget http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.0.0/hdp.repo
wget http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.1.0.0/HDP-GPL-3.1.0.0-centos7-gpl.tar.gz
wget http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.1.0.0/hdp.gpl.repo

3、各個機器配置

全部機器配置/etc/hosts，內容爲全部機器和自定義的域名。

#檢查hosts配置是否正常
cat /etc/hosts

各個機器配置對應的主機名。

#設計主機名
hostname host1.hdp.com
#檢查主機名是否設置成功
hostname -f

各個機器配置dns，/etc/resolv.conf。

各個機器安裝openjdk。

#安裝openjdk
yum install java-1.8.0-openjdk  java-1.8.0-openjdk-devel
#增長環境變量，能夠增長到其餘配置文件中，例如~/.bashrc
echo JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.51.x86_64 >> /etc/profile
source /etc/profile

第一臺機器上生成ssh key，拷貝到其餘機器上，用做ssh免密登陸。

#生成ssh key
ssh-keygen
#拷貝到其餘的機器
ssh-copy-id root@otherXXXXX.hdp.com

第一臺機器配置ambari.repo，用於安裝Ambari Server。

全部機器配置hdp.repo、hdp-gpl。hdp-utils.repo。

4、集羣安裝

第一臺機器安裝、配置、啓動ambari server。安裝mysql驅動。master安裝mysql-connect-java解決ambari error

yum install ambari-server
#安裝mysql驅動
yum install mysql-connector-java*
ls -al /usr/share/java/mysql-connector-java.jar
cd /var/lib/ambari-server/resources/
#連接到ambari server的目錄中，ambari server會用到
ln -s /usr/share/java/mysql-connector-java.jar mysql-connector-java.jar
# 配置ambari server，使用自帶mysql
ambari-server setup
ambari-server restart

瀏覽器登陸ambari server。http://host1.hdp.com:8080，默認用戶名密碼admin/admin。

在ambari安裝步驟中配置機器信息、private.key(以前ssh-keygen生成的~/.ssh/id_rsa)、部署信息。

5、可能的錯誤

• 提示 ambari:sslhandshakeException: Client requested protocol TLSv1 not enabled or not supported ambari
  是由於jre配置問題，修改ambari-server的jre配置。https://blog.csdn.net/youyou1543724847/article/details/82823914

  #在jdk.tls.disabledAlgorithms配置項中，刪除3DES_EDE_CBC，使得運行https握手時，使用TLS_v1協議​
  vim $JAVA_HOME/jre/lib/security/java.security

• Ambari-agent registration failed
  ambari-server日誌有以下內容
  AmbariAgenthost cannot reachAmbariServer'localhost:8080'
  hostname -f 爲localhost，爲沒有設置hostname，修改/etc/hostname設置hostname，每臺都要設置。
  https://community.hortonworks.com/questions/93129/ambari-agent-registration-failed.html
• 提示mysql-connect-java.jar 404: Not Found
  須要安裝上面的步驟安裝mysql驅動。並連接到ambari server對應目錄。
  https://community.hortonworks.com/questions/180040/fail-failed-to-download-file-from-httpip-172-31-9.html 

  https://community.hortonworks.com/articles/170133/hive-start-failed-because-of-ambari-error-mysql-co.html