Kylin的簡介與安裝部署

一.Kylin的概述

官方網址：http://kylin.apache.org/cn/

      Apache Kylin™是一個開源的分佈式分析引擎，提供Hadoop/Spark之上的SQL查詢接口及多維分析（OLAP）能力以支持超大規模數據，最初由eBay Inc. 開發並貢獻至開源社區。它能在亞秒內查詢巨大的Hive表。

二.Kylin的安裝

1.安裝環境準備

1）軟件要求

• Hadoop: 2.7+, 3.1+ (since v2.5)
• Hive: 0.13 - 1.2.1+
• HBase: 1.1+, 2.0 (since v2.5)
• Spark (可選) 2.1.1+
• Kafka (可選) 0.10.0+
• JDK: 1.8+ (since v2.5)
• OS: Linux only, CentOS 6.5+ or Ubuntu 16.0.4+

2）硬件要求

       運行 Kylin 的服務器的最低的配置爲 4 core CPU, 16 GB memory 和 100 GB disk。 對於高負載的場景，建議使用 24 core CPU, 64 GB memory 或更高的配置。

3）Hadoop 環境

       Kylin 依賴於 Hadoop 集羣處理大量的數據集。您須要準備一個配置好 HDFS, YARN, MapReduce, Hive, Hbase, Zookeeper 和其餘服務的 Hadoop 集羣供 Kylin 運行。最多見的是在 Hadoop client machine 上安裝 Kylin，這樣 Kylin 能夠經過（hive, hbase, hadoop, 以及其餘的）命令行與 Hadoop 進行通訊。

       Kylin 能夠在 Hadoop 集羣的任意節點上啓動。方便起見，您能夠在 master 節點上運行 Kylin。但爲了更好的穩定性，咱們建議您將其部署在一個乾淨的 Hadoop client 節點上，該節點上 hive, hbase, hadoop, hdfs 命令行已安裝好且 client 配置如（core-site.xml, hive-site.xml, hbase-site.xml, 及其餘）也已經合理的配置且其能夠自動和其它節點同步。運行 Kylin 的 Linux 帳戶要有訪問 Hadoop 集羣的權限，包括 create/write HDFS 文件夾, hive 表, hbase 表 和 提交 MR jobs 的權限。

2.Kylin單機安裝

1）下載

這裏下載最新的適用於 HBase 1.x 的 Kylin 2.5.0

[admin@node21 software]$ wget http://mirrors.tuna.tsinghua.edu.cn/apache/kylin/apache-kylin-2.5.0/apache-kylin-2.5.0-bin-hbase1x.tar.gz

2）解壓

解壓 tar 包

[admin@node21 software]$ tar zxvf apache-kylin-2.5.0-bin-hbase1x.tar.gz -C /opt/module/
[admin@node21 software]$ cd /opt/module/
[admin@node21 module]$ mv apache-kylin-2.5.0-bin-hbase1x   kylin-2.5.0-bin-hbase1x

而後配置環境變量 KYLIN_HOME 指向 Kylin 文件夾

[admin@node21 kylin-2.5.0-bin-hbase1x]$ sudo vi /etc/profile
export KYLIN_HOME=/opt/module/kylin-2.5.0-bin-hbase1x
export PATH=$PATH:$KYLIN_HOME/bin
[admin@node21 kylin-2.5.0-bin-hbase1x]$ . /etc/profile

檢查安裝環境,若是環境有任何的問題，它會將打印出詳細的信息。若是沒有 error，意味着環境沒問題。

[admin@node21 kylin-2.5.0-bin-hbase1x]$ ./bin/check-env.sh
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x

3）啓動Kylin

先啓動集羣各個服務，而後運行 $KYLIN_HOME/bin/kylin.sh start 腳原本啓動 Kylin，服務器啓動後，您能夠經過查看 $KYLIN_HOME/logs/kylin.log 得到運行時日誌。

[admin@node21 kylin-2.5.0-bin-hbase1x]$ ./bin/kylin.sh  start
Retrieving hadoop conf dir...
KYLIN_HOME is set to /opt/module/kylin-2.5.0-bin-hbase1x
Retrieving hive dependency...
Retrieving hbase dependency...
Retrieving hadoop conf dir...
Retrieving kafka dependency...
Retrieving Spark dependency...
...
A new Kylin instance is started by root. To stop it, run 'kylin.sh stop'
Check the log at /opt/module/kylin-2.5.0-bin-hbase1x/logs/kylin.log
Web UI is at http://<hostname>:7070/kylin-bash-4.1#

4）WebUI查看

• Kylin 啓動後您能夠經過瀏覽器 http://hostname:7070/kylin 查看。初始用戶名和密碼是 ADMIN/KYLIN。
• 運行 $KYLIN_HOME/bin/kylin.sh stop 腳本，中止 Kylin。

3.Kylin集羣安裝