大數據集羣搭建 - 2. CDH集羣安裝 - NTP,MYSQL,nginx安裝

5、安裝ntpd時間服務器

按照Cloudera的官方建議，全部的CDH節點和Cloudea Manager節點都須要啓動ntpd服務。要否則會報以下錯誤： 
1. 此角色的主機的運行情況爲不良。 如下運行情況測試不良： 時鐘誤差. 
2. The host's NTP service is not synchronized to any remote server.

解決方法:
配置一臺ntp服務器，全部的CDH節點做爲此ntp服務器的客戶端。
1.一臺ntp服務器，192.168.168.81, 此機器負責與外部網絡的ntp服務同步標準時間，並做爲局域網內的ntp服務器。
2.兩臺ntp客戶端,192.168.168.82,192.168.168.83, 這些機器與192.168.168.81服務器同步時間。

1.查看是否安裝的ntp時間服務器
rpm -qa | grep ntp
2.安裝ntp服務
yum install -y ntp ntpdate
3.修改ntp配置文件
vi /etc/ntp.conf

-----------------------------------------------------
ntp服務器須要修改的是
-----------------------------------------------------
# 中國這邊最活躍的時間服務器 : http://www.pool.ntp.org/zone/cn
server 0.cn.pool.ntp.org
server 0.asia.pool.ntp.org
server 3.asia.pool.ntp.org

# allow update time by the upper server
# 容許上層時間服務器主動修改本機時間
restrict 0.cn.pool.ntp.org nomodify notrap noquery
restrict 0.asia.pool.ntp.org nomodify notrap noquery
restrict 3.asia.pool.ntp.org nomodify notrap noquery

# Undisciplined Local Clock. This is a fake driver intended for backup
# and when no outside source of synchronized time is available.
# 外部時間服務器不可用時，以本地時間做爲時間服務
server  127.127.1.0     # local clock
fudge   127.127.1.0 stratum 10


4.啓動ntp服務
service ntpd start  啓動ntp服務
service ntpd status 

5.設置開機啓動
chkconfig ntpd on

查看是否已經打開服務
systemctl list-unit-files | grep ntp

6.查看服務鏈接和監聽
netstat -tlunp | grep ntp

7.查看網絡中的NTP服務器，同時顯示客戶端和每一個服務器的關係
ntpq -p

8.查看時間同步狀態，這個通常須要5-10分鐘後才能成功鏈接和同步。因此，服務器啓動後須要稍等下
ntpstat

客戶端配置

1. 配置/etc/ntp.conf文件，在此文件中添加以下配置： 
server 192.168.168.81 prefer 
2. 執行chkconfig ntpd on，設置開機啓動。
3. 執行service ntpd start啓動ntpd服務。
4. 同步NTP-Server時間 
ntpdate -u 192.168.168.81
5. 執行hwclock –systohc，把系統時間同步到硬件BIOS。

安裝好NTP以後，設置爲開機自動啓動，可是重啓以後NTP並無啓動。
這是由於centos7已經安裝了一個相似的工具chronyd。
須要先禁用chronyd。

systemctl enable ntpd
systemctl disable chronyd

6、安裝mysql

1. 查看是否已經安裝了mysql服務器
rpm -qa | grep -i mysql

2. 下載7.5 rpm
wget http://repo.mysql.com/mysql-community-release-el7-5.noarch.rpm
sudo rpm -ivh mysql-community-release-el7-5.noarch.rpm
sudo yum update

3. 安裝mysql-server
sudo yum install mysql-server

4. 啓動mysqld
sudo systemctl start mysqld

5. 設置開機啓動
sudo systemctl enable mysqld

6. 配置msyql
首先中止mysql服務
sudo systemctl stop mysqld



安裝JDBC驅動
1.下載JDBC驅動
http://www.mysql.com/downloads/connector/j/5.1.html (in .tar.gz format).
2.解壓驅動包
tar zxvf mysql-connector-java-5.1.46.tar.gz
3.拷貝JDBC驅動，重命名，放到/usr/share/java/.
若是目標目錄不存在，建立它。
sudo cp mysql-connector-java-5.1.46-bin.jar /usr/share/java/mysql-connector-java.jar

7、安裝nginx,掛載本地repo

步驟：

• 安裝nginx，並打開目錄瀏覽
• 下載CM和CDH的repo-as-tarball包

安裝nginx,並打開目錄瀏覽

安裝nginx對應的源
rpm -Uvh http://nginx.org/packages/centos/7/noarch/RPMS/nginx-release-centos-7-0.el7.ngx.noarch.rpm
yum install nginx

開放目錄權限
vi /etc/nginx/nginx.conf

在配置文件裏面加入如下參數
autoindex on;
autoindex_exact_size on; 
autoindex_localtime on;

autoindex_exact_size on;
顯示出文件的確切大小，單位是bytes。
改成off後，顯示出文件的大概大小，單位是kB或者MB或者GB

autoindex_localtime on;
默認爲off，顯示的文件時間爲GMT時間。
改成on後，顯示的文件時間爲文件的服務器時間

下載CM和CDH的repo-as-tarball包

下載跟OS發佈版本對應的tar包

Cloudera Manager 5: 
https://archive.cloudera.com/cm5/repo-as-tarball/


檢查centos的md5值
md5sum -c cm5.14.3-centos7.tar.gz.md5

拷貝解壓後的文件到html目錄下
cd /usr/share/nginx/html

咱們能夠經過http://dev-hd001/cm/來訪問咱們的倉庫

指導地址

https://www.cloudera.com/documentation/enterprise/latest/topics/cm_ig_create_local_package_repo.html#cmig_topic_21_3

定義repo文件
vi /etc/yum.repos.d/cloudera-cm.repo
加入如下內容
# Packages for Cloudera's Distribution for cm, Version 5, on RedHat    or CentOS 7 x86_64
name=Cloudera's Distribution for cm, Version 5
baseurl=http://dev-hd001/cm/5.14.3/
gpgkey = http://dev-hd001/cm/RPM-GPG-KEY-cloudera    
gpgcheck = 1

安裝CM
sudo yum install cloudera-manager-daemons cloudera-manager-server

拷貝驅動到cmf文件夾
cp mysql-connector-java.jar /usr/share/cmf/lib/

執行mysql配置語句
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep scm scm keep

執行完這條語句之後，咱們發現db.properties文件發生了改變

[root@dev-fhcb-09-hd001 soft]# cat /etc/cloudera-scm-server/db.properties
# Auto-generated by scm_prepare_database.sh on Sun Oct  7 09:45:15 CST 2018
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=localhost
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=scm
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=keep



sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep amon amon keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep rman rman keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep hue hue keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep metastore metastore keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep sentry sentry keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep nav nav keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep navms navms keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep oozie oozie keep
sudo /usr/share/cmf/schema/scm_prepare_database.sh mysql -uroot -pkeep activity_monitor activity_monitor keep


啓動CM
sudo systemctl start cloudera-scm-server

查看CM日誌
sudo tail -f /var/log/cloudera-scm-server/cloudera-scm-server.log

訪問CM
http://dev-fhcb-09-hd001:7180/

每臺機器上安裝cdh agent

sudo yum install -y cloudera-manager-agent