CDH+Kylin三部曲之一：準備工做

歡迎訪問個人GitHub

https://github.com/zq2599/blog_demos

內容：全部原創文章分類彙總及配套源碼，涉及Java、Docker、Kubernetes、DevOPS等；

關於《CDH+Kylin三部曲》系列

本文是《CDH+Kylin三部曲》的第一篇，整個系列由如下三篇組成：

1. 準備工做：搭建CDH+Kylin環境前，將全部硬件、軟件資源準備好
2. 部署和設置：部署CDH和Kylin，再作相關設置
3. Kylin實戰：在搭好的環境上運行Kylin官方demo

整個三部曲的實戰內容以下圖所示：

接下來，就從最基本的準備工做開始吧。

關於CDH與Kylin

1. Kylin的運行須要Hadoop、Hive、HBase等服務，所以用CDH來集中部署這些應用更爲方便，下圖來自Kylin官方，可見是支持CDH的：

2. 官方說支持CDH6.0版本，但實際部署中發現Kylin2.6在CDH6.0.1環境啓動會有問題，經嘗試發現Kylin2.6+CDH5.16能夠正常運行，本次實戰就用這樣的版本搭配；

部署方式

ansible是經常使用的運維工具，可大幅度簡化整個部署過程，接下來會使用ansible來完成部署工做，若是您對ansible還不夠了解，請參考《ansible2.4安裝和體驗》，部署操做以下圖所示，在一臺安裝了ansible的電腦上運行腳本，由ansible遠程鏈接到一臺CentOS7.7的服務器上，完成部署工做：

硬件準備

1. 一部能運行ansible的電腦，我用的是MacBook Pro，也用CentOS驗證過，都能順利完成部署；
2. 一臺CentOS7.7電腦，用於運行HDFS、Hive、HBase、Spark、Kylin等全部服務(後續文中的CDH服務器就是指該電腦)，用一臺機器部署全部服務僅適用於學習和開發階段，實測發現，此電腦CPU至少要雙核，內存不低於16G，若是您想用多臺電腦部署CDH，建議自行修改ansible腳原本分別部署，腳本地址後面會給出；

CDH服務器設置

須要登陸CDH服務器作如下設置：

1. 檢查/etc/hostname文件是否正確，以下圖：
   
2. 修改/etc/hosts文件，將本身的IP地址和hostname配置上去，以下圖紅框所示（事實證實這一步很重要，若是不作可能致使在部署時一直卡在"分配"階段，看agent日誌顯示agent下載parcel的進度一直是百分之零）：
   

下載文件(ansible電腦)

本次實戰一共要準備13個文件，這裏用表格列舉以下：

編號	文件名	簡介
1	jdk-8u191-linux-x64.tar.gz	Linux版的jdk安裝包
2	mysql-connector-java-5.1.34.jar	mysql的JDBC驅動
3	cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm	cm的server安裝包
4	cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm	cm的daemon安裝包
5	cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm	cm的agent安裝包
6	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel	CDH應用離線安裝包
7	CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha	CDH應用離線安裝包sha驗證碼
8	apache-kylin-2.6.4-bin-cdh57.tar.gz	kylin安裝包(適配CDH版本)
9	hosts	ansible用到的遠程主機配置，裏面記錄了CDH6服務器的信息
10	ansible.cfg	ansible用到的配置信息
11	cm6-cdh5-kylin264-single-install.yml	部署CDH時用到的ansible腳本
12	cdh-single-start.yml	初次啓動CDH時用到的ansible腳本
13	var.yml	腳本中用到的變量都在在此設值， 例如CDH包名、flink文件名等，便於維護

下面是每一個文件的下載地址：

1. jdk-8u191-linux-x64.tar.gz：Oracle官網可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一塊兒打包上傳到csdn，您能夠一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987

2. mysql-connector-java-5.1.34.jar：maven中央倉庫可下，另外我將jdk-8u191-linux-x64.tar.gz和mysql-connector-java-5.1.34.jar一塊兒打包上傳到csdn，您能夠一次性下載，地址：https://download.csdn.net/download/boling_cavalry/12098987

3. cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm

4. cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm

5. cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm：https://archive.cloudera.com/cm6/6.3.1/redhat7/yum/RPMS/x86_64/cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm

6. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel

7. CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha：https://archive.cloudera.com/cdh5/parcels/5.16.2/CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha1 （下載完畢後，將擴展名從.sha1爲.sha）

8. apache-kylin-2.6.4-bin-cdh57.tar.gz：https://archive.apache.org/dist/kylin/apache-kylin-2.6.4/apache-kylin-2.6.4-bin-cdh57.tar.gz

9. hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml ：這五個文件都保存在個人GitHub倉庫，地址是：https://github.com/zq2599/blog_demos ，這裏面有多個文件夾，上述文件在名爲ansible-cm6-cdh5-kylin264-single的文件夾中，以下圖紅框所示：
   

文件擺放(ansible電腦)

若是您已經下載好了上述13個文件，請按照以下位置擺放，這樣才能順利完成部署：

1. 在家目錄下新建名爲playbooks的文件夾：mkdir ~/playbooks
2. 把這五個文件放入playbooks文件夾：hosts、ansible.cfg、cm6-cdh5-kylin264-single-install.yml、cdh-single-start.yml、vars.yml
3. 在playbooks文件夾裏新建名爲cdh6的子文件夾；
4. 把這八個文件放入cdh6文件夾(即剩餘的八個)：jdk-8u191-linux-x64.tar.gz、mysql-connector-java-5.1.34.jar、cloudera-manager-server-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-daemons-6.3.1-1466458.el7.x86_64.rpm、cloudera-manager-agent-6.3.1-1466458.el7.x86_64.rpm、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel、CDH-5.16.2-1.cdh5.16.2.p0.8-el7.parcel.sha、apache-kylin-2.6.4-bin-cdh57.tar.gz
5. 擺放完畢後目錄和文件狀況以下圖，再次提醒：文件夾playbooks必定要放在家目錄下（即：~/）：
   

ansible參數設置(ansible電腦)

ansible參數設置的操做設置很簡單：配置好CDH服務器的訪問參數便可，包括IP地址、登陸帳號、密碼等，修改~/playbooks/hosts文件，內容以下所示，您須要根據自身狀況修改deskmini、ansible_host、ansible_port、ansible_user、ansible_password：

[cdh_group]deskmini ansible_host=192.168.50.134 ansible_port=22 ansible_user=root ansible_password=888888

至此，全部準備工做已完成，下一篇文章咱們將完成這些操做：

1. 部署CDH和Kylin
2. 啓動CDH
3. 設置CDH、在線安裝Yarn、HDFS等
4. 調整HDFS、Yarn參數
5. 修改Spark設置(不然Kylin啓動會失敗)
6. 啓動Kylin

歡迎關注公衆號：程序員欣宸

微信搜索「程序員欣宸」，我是欣宸，期待與您一同暢遊Java世界...
https://github.com/zq2599/blog_demos