Cloudera Manager 分爲兩個部分:CDH和CM。html
CDH是Cloudera Distribution Hadoop的簡稱,顧名思義,就是cloudera公司發佈的Hadoop版本,封裝了Apache Hadoop,提供Hadoop全部的服務,包括HDFS,YARN,MapReduce以及各類相關的components:HBase, Hive, ZooKeeper,Kafka等。前端
CM是cloudera manager的簡稱,是CDH的管理平臺,主要包括CM server, CM agent。經過CM能夠對CDH進行配置,監測,報警,log查看,動態添加刪除各類服務等。java
JDK:1.8 centos:7.3 操做系統:CentOS 6 JDK 版本:1.7.0_80 所需安裝包及版本說明:因爲咱們的操做系統爲CentOS7,須要下載如下文件: cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 manifest.json
Cloudera Manager 下載目錄
http://archive.cloudera.com/cm5/cm/5/node
CDH 下載目錄
http://archive.cloudera.com/cdh5/parcels/5.12.1/mysql
manifest.json 下載
http://archive.cloudera.com/cdh5/parcels/5.12.1/manifest.jsonlinux
CHD5 相關的 Parcel 包放到主節點的/opt/cloudera/parcel-repo/
目錄中 sql
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
重命名爲 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
shell
本文全部軟件包,百度網盤連接:http://pan.baidu.com/s/1eSALjAq 密碼:vqhg數據庫
這點必須注意,不然,系統會從新下載 CDH-5.12.1-1.cdh5.12.1.p0.3-el6.parcel
文件 json
本文采用離線安裝方式,在線安裝方式請參照官方文
主機名 | ip地址 | 安裝服務 |
---|---|---|
node1 (Master) | 192.168.252.121 | jdk、cloudera-manager、MySql |
node2 (Agents) | 192.168.252.122 | jdk、cloudera-manager |
node3 (Agents) | 192.168.252.123 | jdk、cloudera-manager |
node4 (Agents) | 192.168.252.124 | jdk、cloudera-manager |
node5 (Agents) | 192.168.252.125 | jdk、cloudera-manager |
node6 (Agents) | 192.168.252.126 | jdk、cloudera-manager |
node7 (Agents) | 192.168.252.127 | jdk、cloudera-manager |
修改 hostname
命令格式
hostnamectl set-hostname <hostname>
依次修改全部節點 node
[1-7]
hostnamectl set-hostname node1
重啓服務器
reboot
修改映射關係
1.修改全部節點 /etc/hosts
文件下添加以下內容
$ vi /etc/hosts
2.查看修改後的/etc/hosts
文件內容
[root@node7 ~]# cat /etc/hosts 127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4 ::1 localhost localhost.localdomain localhost6 localhost6.localdomain6 192.168.252.121 node1 192.168.252.122 node2 192.168.252.123 node3 192.168.252.124 node4 192.168.252.125 node5 192.168.252.126 node6 192.168.252.127 node7
1.在集羣node1的 /etc/ssh/sshd_config
文件去掉如下選項的註釋
vi /etc/ssh/sshd_config
RSAAuthentication yes #開啓私鑰驗證 PubkeyAuthentication yes #開啓公鑰驗證
2.將集羣node1 修改後的 /etc/ssh/sshd_config
經過 scp
命令複製發送到集羣的每個節點
for a in {2..7} ; do scp /etc/ssh/sshd_config node$a:/etc/ssh/sshd_config ; done
3.生成公鑰、私鑰
1.在集羣的每個節點節點輸入命令 ssh-keygen -t rsa -P ''
,生成 key,一概回車
ssh-keygen -t rsa -P ''
4.在集羣的node1 節點輸入命令
將集羣每個節點的公鑰id_rsa.pub
放入到本身的認證文件中authorized_keys
;
for a in {1..7}; do ssh root@node$a cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys; done
5.在集羣的node1 節點輸入命令
將本身的認證文件 authorized_keys
經過
scp 命令複製發送到每個節點上去:
/root/.ssh/authorized_keys`
for a in {1..7}; do scp /root/.ssh/authorized_keys root@node$a:/root/.ssh/authorized_keys ; done
6.在集羣的每個節點節點輸入命令
接重啓ssh服務
sudo systemctl restart sshd.service
7.驗證 ssh 無密登陸
開一個其餘窗口測試下可否免密登錄
例如:在node3
ssh root@node2
exit
退出
systemctl stop firewalld.service
查看
[root@node1 ~]# getenforce Enforcing [root@node1 ~]# /usr/sbin/sestatus -v SELinux status:
臨時關閉
## 設置SELinux 成爲permissive模式 ## setenforce 1 設置SELinux 成爲enforcing模式 setenforce 0
永久關閉
vi /etc/selinux/config
將 SELINUX=enforcing
改成 SELINUX=disabled
設置後須要重啓才能生效
PS 我是修改node1
的 /etc/selinux/config
後,把配置文件複製到其餘節點
for a in {2..7}; do scp /etc/selinux/config root@node$a:/etc/selinux/config ; done
重啓全部節點
reboot
下載Linux環境下的jdk1.8,請去(官網)中下載jdk的安裝文件
我在百度雲盤分下的連接:http://pan.baidu.com/s/1jIFZF9s 密碼:u4n4
上傳在 /opt
目錄
解壓
cd /opt tar zxvf jdk-8u144-linux-x64.tar.gz mv jdk1.8.0_144/ /lib/jvm
配置環境變量
vi /etc/profile
#jdk export JAVA_HOME=/lib/jvm export JRE_HOME=${JAVA_HOME}/jre export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib export PATH=${JAVA_HOME}/bin:$PATH
使環境變量生效
source /etc/profile
驗證
[root@localhost ~]# java -version java version "1.8.0_144" Java(TM) SE Runtime Environment (build 1.8.0_144-b01) Java HotSpot(TM) 64-Bit Server VM (build 25.144-b01, mixed mode)
全部節點安裝 NTP
yum install ntp
設置同步
ntpdate -d 182.92.12.11
主節點 安裝 MySql
MySQL依賴於libaio 庫
yum search libaio yum install libaio
下載,解壓,重命名
一般解壓在 /usr/local/mysql
把mysql-5.7.19-linux-glibc2.12-x86_64
文件夾,重命名成mysql
,這樣就湊成/usr/local/mysql
目錄了
cd /opt/ wget https://dev.mysql.com/get/Downloads/MySQL-5.7/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz tar -zxvf /opt/mysql-5.7.19-linux-glibc2.12-x86_64.tar.gz -C /usr/local/ mv /usr/local/mysql-5.7.19-linux-glibc2.12-x86_64/ /usr/local/mysql
1. 新建用戶組和用戶
groupadd mysql useradd mysql -g mysql
2. 建立目錄並受權
cd /usr/local/mysql/ mkdir data mysql-files chmod 750 mysql-files chown -R mysql . chgrp -R mysql .
3. 初始化MySQL
bin/mysqld --initialize --user=mysql # MySQL 5.7.6 and up
4. 注意密碼 mysql 臨時密碼
[注意]root@localhost生成臨時密碼:;b;s;)/rn6A3
,也就是root@localhost:
後的字符串
2017-09-24T08:34:08.643206Z 1 [Note] A temporary password is generated for root@localhost: D<qha)5gtr<!
5. 授予讀寫權限
chown -R root . chown -R mysql data mysql-files
6. 添加到MySQL 啓動腳本到系統服務
cp support-files/mysql.server /etc/init.d/mysql.server
7. 給日誌目錄授予讀寫權限
mkdir /var/log/mariadb touch /var/log/mariadb/mariadb.log chown -R mysql:mysql /var/log/mariadb
8. 修改 /etc/my.cnf
vi /etc/my.cnf
修改 [mysqld]
組下的 socket
路徑,註釋掉/var/lib/mysql/mysql.sock
,加一行爲tmp/mysql.soc
[mysqld] datadir=/var/lib/mysql #socket=/var/lib/mysql/mysql.sock socket=/tmp/mysql.sock
9.啓動MySQL服務
service mysql.server start
或者
/usr/local/mysql/support-files/mysql.server start
10. 登陸MySQL
/usr/local/mysql/bin/mysql -uroot -p Enter password:
若是不知道密碼
密碼在,安裝MySQL步驟 4 ,有提到,怎麼找初始化臨時密碼
11. 設置MySQL密碼
登錄成功後,設置MySQL密碼
mysql> ALTER USER 'root'@'localhost' identified by 'mima'; mysql> flush privileges;
12. 開啓遠程登陸
mysql> grant all privileges on *.* to 'root'@'%' identified by 'mima' with grant option; mysql> flush privileges; mysql> exit;
yum -y install chkconfig yum -y install bind-utils yum -y install psmisc yum -y install libxslt yum -y install zlib yum -y install sqlite yum -y install cyrus-sasl-plain yum -y install cyrus-sasl-gssapi yum -y install fuse yum -y install portmap yum -y install fuse-libs yum -y install redhat-lsb
在全部節點,建立/opt/cloudera-manager
mkdir /opt/cloudera-manager
把下載好的cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
安裝包上傳至 node1 節點/opt/
目錄
在 node1 節點拷貝 cloudera-manager-centos7-cm5.12.1_x86_64.tar.gz
到全部 Server、Agent
節點建立 /opt/cloudera-manager
目錄:
for a in {2..7}; do scp /opt/cloudera-manager-*.tar.gz root@node$a:/opt/ ; done
全部 Server、Agent
節點節點解壓安裝 Cloudera Manager Server & Agent
cd /opt tar xvzf cloudera-manager*.tar.gz -C /opt/cloudera-manager
cloudera-scm 用戶說明,摘自官網:
Cloudera Manager Server and managed services are configured to use the user account cloudera-scm by default, creating a user with this name is the simplest approach. This created user, is used automatically after installation is complete.
Cloudera管理器服務器和託管服務被配置爲在默認狀況下使用用戶賬戶Cloudera-scm,建立具備這個名稱的用戶是最簡單的方法。建立用戶,在安裝完成後自動使用。
執行:在全部節點建立cloudera-scm用戶
useradd --system --home=/opt/cloudera-manager/cm-5.12.1/run/cloudera-scm-server/ --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm
修改 node1 節點
/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini
中的server_host
爲主節點的主機名。
cd /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/ vi config.ini
在node1 操做將 node1 節點修改後的 (複製到全部節點)
for a in {1..7}; do scp /opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini root@node$a:/opt/cloudera-manager/cm-5.12.1/etc/cloudera-scm-agent/config.ini ; done
在主節點 node1 初始化CM5的數據庫:
下載 mysql 驅動包
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/lib wget http://maven.aliyun.com/nexus/service/local/repositories/hongkong-nexus/content/Mysql/mysql-connector-java/5.1.38/mysql-connector-java-5.1.38.jar
啓動MySQL服務
service mysql.server start
cd /opt/cloudera-manager/cm-5.12.1/share/cmf/schema/ ./scm_prepare_database.sh mysql cm -h node1 -uroot -pmima --scm-host node1 scm scm scm
看到以下信息,恭喜您,配置沒毛病
[main] DbCommandExecutor INFO Successfully connected to database. All done, your SCM database is configured correctly!
格式:
scm_prepare_database.sh mysql cm -h <hostName> -u<username> -p<password> --scm-host <hostName> scm scm scm 對應於:數據庫類型 數據庫 服務器 用戶名 密碼 –scm-host Cloudera_Manager_Server 所在節點……
Manager 節點建立目錄/opt/cloudera/parcel-repo
,執行:
將下載好的文件
CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha manifest.json
拷貝到該目錄下。
mkdir -p /opt/cloudera/parcel-repo chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo cd /opt/cloudera/parcel-repo
重命名,CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1
不然,系統會從新下載 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel
mv CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha1 CDH-5.12.1-1.cdh5.12.1.p0.3-el7.parcel.sha
Agent 節點建立目錄/opt/cloudera/parcels,執行:
mkdir -p /opt/cloudera/parcels chown cloudera-scm:cloudera-scm /opt/cloudera/parcels
注意,mysql 服務啓動,防火牆關閉
在 node1 (master) 執行:
Server
/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-server start
在 node2-7 (Agents) 執行:
Agents
/opt/cloudera-manager/cm-5.12.1/etc/init.d/cloudera-scm-agent start
訪問 http://Master:7180 若能夠訪問(用戶名、密碼:admin),則安裝成功。
Manager 啓動成功須要等待一段時間,過程當中會在數據庫中建立對應的表須要耗費一些時間。
CM Manager && Agent 成功啓動後,登陸前端頁面進行 CDH 安裝配置。
免費版本的 CM5 已經去除 50 個節點數量的限制。
各個 Agent 節點正常啓動後,能夠在當前管理的主機列表中看到對應的節點。
選擇要安裝的節點,點繼續。
點擊,繼續,若是配置本地 Parcel 包無誤,那麼下圖中的已下載,應該是瞬間就完成了,而後就是耐心等待分配過程就好了,大約 10 多分鐘吧,取決於內網網速。
(若本地 Parcel 有問題,從新檢查步驟3、5 是否配置正確)
點擊,繼續,若是配置本地Parcel包無誤,那麼下圖中的已下載,應該是瞬間就完成了,而後就是耐心等待分配過程就好了,大約10多分鐘吧,取決於內網網速。
問題一
接下來是服務器檢查,可能會遇到如下問題:
Cloudera 建議將 /proc/sys/vm/swappiness
設置爲最大值 10。當前設置爲 30。
使用 sysctl
命令在運行時更改該設置並編輯 /etc/sysctl.conf
,以在重啓後保存該設置。
您能夠繼續進行安裝,但 Cloudera Manager 可能會報告您的主機因爲交換而運行情況不良。如下主機將受到影響:node[2-7]
echo 0 > /proc/sys/vm/swappiness
問題二
已啓用透明大頁面壓縮,可能會致使重大性能問題。請運行 echo never > /sys/kernel/mm/transparent_hugepage/defrag
和 echo never > /sys/kernel/mm/transparent_hugepage/enabled
以禁用此設置,而後將同一命令添加到 /etc/rc.local 等初始化腳本中,以便在系統重啓時予以設置。如下主機將受到影響: node[2-7]
echo never > /sys/kernel/mm/transparent_hugepage/defrag echo never > /sys/kernel/mm/transparent_hugepage/enabled
一、MySql 建庫&&刪庫
amon
create database amon DEFAULT CHARACTER SET utf8; grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'amon';
hive
create database hive DEFAULT CHARACTER SET utf8; grant all on hive.* TO 'hive'@'%' IDENTIFIED BY 'hive';
oozie
create database oozie DEFAULT CHARACTER SET utf8; grant all on oozie.* TO 'oozie'@'%' IDENTIFIED BY 'oozie';