Ambari2.7.4+HDP3.1.4安裝 Centos7離線安裝

時間 2020-12-10

標籤 html java node mysql linux web sql 數據庫 json vim 欄目 Tomcat 简体版

原文原文鏈接

Ambari2.7.4+HDP3.1.4安裝 Centos7離線安裝

標籤（空格分隔）：大數據平臺構建html

一：關於HDP的介紹

二：系統環境介紹

三：系統環境初始化

四：安裝HDP3.1.4平臺

一：關於HDP的介紹

1.1 ambari的介紹

Ambari是一種基於Web的工具，支持Apache Hadoop集羣的建立、管理和監控。java

Ambari已支持大多數Hadoop組件，包括HDFS、MapReduce、Hive、Pig、 Hbase、Zookeeper、Sqoop和Hcatalog等。Apache Ambari 支持HDFS、MapReduce、Hive、Pig、Hbase、Zookeepr、Sqoop和Hcatalog等的集中管理。也是5個頂級hadoop管理工具之一。node

Ambari 自身也是一個分佈式架構的軟件，主要由兩部分組成：Ambari Server 和 Ambari Agent。簡單來講，用戶經過 Ambari Server 通知 Ambari Agent 安裝對應的軟件；Agent 會定時地發送各個機器每一個軟件模塊的狀態給 Ambari Server，最終這些狀態信息會呈如今 Ambari 的 GUI，方便用戶瞭解到集羣的各類狀態，並進行相應的維護。mysql

1.2 hdp的介紹

HDP是hortonworks的軟件棧，裏面包含了hadoop生態系統的全部軟件項目，好比HBase,Zookeeper,Hive,Pig等等。linux

1.3 HDP-UTILS

HDP-UTILS是工具類庫。web

二：系統環境安裝介紹

2.1 操做系統與環境

2.1.1：系統主機名
系統： Centos7.8 X64
---
192.168.100.11  node01.flyfish
192.168.100.12  node02.flyfish
192.168.100.13  node03.flyfish
192.168.100.14  node04.flyfish
192.168.100.15  node05.flyfish
192.168.100.16  node06.flyfish
192.168.100.17  node07.flyfish

本次安裝採用前4臺虛擬主機

2.2 系統包下載地址

Ambari在線安裝特別慢，因此使用離線安裝，建議使用迅雷下載sql

參照文檔：
https://docs.cloudera.com/HDPDocuments/Ambari-2.7.4.0/bk_ambari-installation/content/hdp_314_repositories.html
ambari:
http://public-repo-1.hortonworks.com/ambari/centos7/2.x/updates/2.7.4.0/ambari-2.7.4.0-centos7.tar.gz
HDP:
http://public-repo-1.hortonworks.com/HDP/centos7/3.x/updates/3.1.4.0/HDP-3.1.4.0-centos7-rpm.tar.gz
HDP-UTILS:
http://public-repo-1.hortonworks.com/HDP-UTILS-1.1.0.22/repos/centos7/HDP-UTILS-1.1.0.22-centos7.tar.gz
HDP-GPL：
http://public-repo-1.hortonworks.com/HDP-GPL/centos7/3.x/updates/3.1.4.0/HDP-GPL-3.1.4.0-centos7-gpl.tar.gz數據庫

三：系統環境初始化

3.1：無密鑰登陸配置

作root用戶無密鑰認證json

ssh-keygen ---一直敲回車到最後vim

cat id_rsa.pub >> authorized_keys

將全部的公鑰導入authorized_keys 分發到全部的機器的.ssh/ 下面

而後測試

3.2: 關閉 firewalld，iptables 與 selinux

yum install -y firewall iptable

(1) 關閉firewalld

systemctl stop firewalld.service
systemctl disable firewalld.service
firewall-cmd --state

(2) 關閉iptables
iptables -F
systemctl stop iptables.service
service iptables save
systemctl disable iptables.service

(3) 禁用 selinux

sed -i '/SELINUX/s/enforcing/disabled/' /etc/selinux/config
setenforce 0
getenforce 0
sestatus

重啓機器

reboot

3.3 全部機器更改centos7.5x64的文件句柄數

vim /etc/security/limits.conf
---
*               soft    nofile          65535
*               hard    nofile          1029345
*               soft    nproc           unlimited
*               hard    nproc           unlimited
*               soft    memlock         unlimited
*               hard    memlock         unlimited
---

3.4 生產環境配置chrony 時間同步服務器

全部機器 yum install chrony*
1. node01.flyfish:

vim /etc/chrony.conf 增長
----
註釋掉相關默認的server:
全部節點均同步阿里雲時間服務器
server ntp1.aliyun.com iburst

service chronyd start
chkconfig chronyd on

3.6 安裝jdk1.8.

rpm -ivh jdk-8u162-linux-x64.rpm
---
export JAVA_HOME=/usr/java/jdk1.8.0_162
export CLASSPATH=.:$JAVA_HOME/jre/lib:$JAVA_HOME/lib:$JAVA_HOME/lib/tools.jar
PATH=$PATH:$HOME/bin:$JAVA_HOME/bin

---
source /etc/profile 

java -version

3.7 設置swap

sh ssh_do_all.sh node.list "echo vm.swappiness = 10 >> /etc/sysctl.conf"
sh ssh_do_all.sh node.list "sysctl -p |grep vm.swappiness"

3.8 設置透明大頁面

sh ssh_do_all.sh node.list "echo never > /sys/kernel/mm/transparent_hugepage/defrag"

sh ssh_do_all.sh node.list  "echo never > /sys/kernel/mm/transparent_hugepage/enabled"

設置開機自關閉

將以下腳本添加到/etc/rc.local文件中

if test -f /sys/kernel/mm/transparent_hugepage/enabled; then echo never > /sys/kernel/mm/transparent_hugepage/enabled fi if test -f /sys/kernel/mm/transparent_hugepage/defrag; then echo never > /sys/kernel/mm/transparent_hugepage/defrag fi

四：安裝 hdp3.1.4

4.1 : 配置ambari所需安裝源

安裝httpd 

yum install -y httpd

service httpd start

chkconfig httpd on

cd /var/www/html/

1. ambari 的 yum源

cd /root/software
tar -zxvf ambari-2.7.4.0-centos7.tar
mv ambari /var/www/html/

cd /var/www/html/ambari/centos7/2.7.4.0-118
cp -p ambari.repo /etc/yum.repos.d/

cd /etc/yum.repos.d

vim ambari.repo

----
#VERSION_NUMBER=2.7.4.0-118
[ambari-2.7.4.0]
#json.url = http://public-repo-1.hortonworks.com/HDP/hdp_urlinfo.json
name=ambari Version - ambari-2.7.4.0
baseurl=http://192.168.100.11/ambari/centos7/2.7.4.0-118
gpgcheck=0
enabled=1
priority=1
----

4.2 配置hdp和hdp-utils 的源

cd /root/software

tar -zxvf HDP-3.1.4.0-centos7-rpm.tar.gz

mv HDP /var/www/html/

cd /var/www/html/HDP/centos7/3.1.4.0-315

cp -p hdp.repo /etc/yum.repos.d/

cd /root/software

tar -zxvf HDP-UTILS-1.1.0.22-centos7.tar.gz

mv HDP-UTILS /var/www/html/

cd /etc/yum.repos.d/

vim hdp.repo

---
#VERSION_NUMBER=3.1.4.0-315
[HDP-3.1.4.0]
name=HDP Version - HDP-3.1.4.0
baseurl=http://192.168.100.11/HDP/centos7/3.1.4.0-315
gpgcheck=0
enabled=1
priority=1

[HDP-UTILS-1.1.0.22]
name=HDP-UTILS Version - HDP-UTILS-1.1.0.22
baseurl=http://192.168.100.11/HDP-UTILS/centos7/1.1.0.22
gpgcheck=0
enabled=1
priority=1
---

----

tar -zxvf HDP-GPL-3.1.4.0-centos7-gpl.tar.gz

mv HDP-GPL /var/www/html/

cd /var/www/html/HDP-GPL/centos7/3.1.4.0-315

cp -p hdp.gpl.repo /etc/yum.repos.d/
cd /etc/yum.repos.d/

vim hdp.gpl.repo
----
#VERSION_NUMBER=3.1.4.0-315
[HDP-GPL-3.1.4.0]
name=HDP-GPL Version - HDP-GPL-3.1.4.0
baseurl=http://192.168.100.11/HDP-GPL/centos7/3.1.4.0-315
gpgcheck=0
enabled=1
priority=1
---

cd /etc/yum.repos.d/
scp ambari.repo hdp.repo hdp.gpl.repo node02.flyfish:/etc/yum.repos.d/
scp ambari.repo hdp.repo hdp.gpl.repo node03.flyfish:/etc/yum.repos.d/
scp ambari.repo hdp.repo hdp.gpl.repo node04.flyfish:/etc/yum.repos.d/

yum clean all

yum makecache fast

4.3 安裝mariadb-server 數據庫

yum install -y mariadb-server 

systemctl start mariadb

systemctl enable mariadb

設置密碼爲：flyfish225.com

mysql -uroot -pflyfish225.com

ambari 數據庫：

create database ambari default character set utf8; 
grant all privileges on ambari.* to 'ambari'@'%' identified by 'Ambari123' with grant option;
grant all privileges on ambari.* to 'ambari'@'node01.flyfish' identified by 'Ambari123' with grant option;
flush privileges; 

use mysql;

UPDATE user SET PASSWORD=PASSWORD('Ambari123') where USER='ambari';

flush privileges;

hive 數據庫：

create database hive character set utf8 ;  
CREATE USER 'hive'@'%'IDENTIFIED BY 'Hive-123';
GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%';
FLUSH PRIVILEGES;

oozie 數據庫：

create database oozie character set utf8 ;  
CREATE USER 'oozie'@'%'IDENTIFIED BY 'Oozie-123';
GRANT ALL PRIVILEGES ON *.* TO 'oozie'@'%';
FLUSH PRIVILEGES;

4.3 安裝jdbc

拷貝jdbc 到 java的目錄
  mkdir /usr/share/java
  mv mysql-connector-java-5.1.49-bin.jar /usr/share/java/
  cd /usr/share/java/
  mv mysql-connector-java-5.1.49-bin.jar mysql-connector-java.jar
  chmod 777 mysql-connector-java.jar

4.4 安裝ambari

yum install -y ambari-server

vim /etc/ambari-server/conf/ambari.properties

----
增長：
  server.jdbc.driver.path=/usr/share/java/mysql-connector-java.jar

---

ambari-server setup --jdbc-db=mysql --jdbc-driver=/usr/share/java/mysql-connector-java.jar

ambari-server setup

mysql -uroot -pflyfish225.com
use ambari
source /var/lib/ambari-server/resources/Ambari-DDL-MySQL-CREATE.sql

4.5 啓動ambari

ambari-server start

4.6 打開ambari的web

http://192.168.100.11:8080

用戶名：admin
密碼： admin

選擇了hdfs、yarn、zookeeper三個服務，僅供參考：

這一步分發要等很長的一段時間

相關標籤/搜索

每日一句

每一个你不满意的现在，都有一个你没有努力的曾经。

Ambari2.7.4+HDP3.1.4安裝 Centos7離線安裝

Ambari2.7.4+HDP3.1.4安裝 Centos7離線安裝

一： 關於HDP的介紹

1.1 ambari的介紹

1.2 hdp的介紹

1.3 HDP-UTILS

二：系統環境安裝介紹

2.1 操做系統與環境

2.2 系統包下載地址

三：系統環境初始化

3.1：無密鑰登陸配置

3.2: 關閉 firewalld，iptables 與 selinux

3.3 全部機器更改centos7.5x64的文件句柄數

3.4 生產環境配置chrony 時間同步服務器

3.6 安裝jdk1.8.

3.7 設置swap

3.8 設置透明大頁面

四： 安裝 hdp3.1.4

4.1 : 配置ambari所需安裝源

4.2 配置hdp和hdp-utils 的源

4.3 安裝mariadb-server 數據庫

4.3 安裝jdbc

4.4 安裝ambari

4.5 啓動ambari

4.6 打開ambari的web

一：關於HDP的介紹

四：安裝 hdp3.1.4