hadoop+Kylin服務器搭建教程

時間  2019-11-17
標籤 hadoop+kylin hadoop kylin 服務器 搭建 教程 欄目 Hadoop 简体版
原文   原文鏈接

公司準備使用Kylin進行數據分析，所以須要進行hadopp+Kylin服務器的搭建和使用。 本教程基於：html

  • Hadoop 2.9.0
  • HBase 1.1.13
  • Hive 1.2.2
  • Kylin 2.2.0

講解hadoop服務器的搭建流程java

1.建立hadoop用戶

//添加hadoop用戶
sudo useradd -m hadoop -s /bin/bash
//設置用戶密碼
sudo passwd hadoop
//添加管理員權限
sudo adduser hadoop sudo

複製代碼

切換至hadopp用戶node

2.搭建hadoop服務器

hadoop的搭建可參考hadoopmysql

更新apt源linux

sudo apt-get update
複製代碼

安裝SSH、配置SSH無密碼登錄git

//安裝SSH service
sudo apt-get install openssh-server

//登錄本機
ssh localhost
複製代碼

此時會有以下提示(SSH首次登錄提示)，輸入 yes 。而後按提示輸入密碼 hadoop，這樣就登錄到本機了。 !github

image
但這樣登錄是須要每次輸入密碼的，咱們須要配置成SSH無密碼登錄比較方便。

首先退出剛纔的 ssh，就回到了咱們原先的終端窗口，而後利用 ssh-keygen 生成密鑰，並將密鑰加入到受權中：sql

exit                                   # 退出剛纔的 ssh localhost
cd ~/.ssh/                             # 若沒有該目錄，請先執行一次ssh localhost
ssh-keygen -t rsa                      # 會有提示，都按回車就能夠
cat ./id_rsa.pub >> ./authorized_keys  # 加入受權
複製代碼

安裝JAVA環境數據庫

此處安裝jdk的Java環境\apache

  • 下載jdk壓縮包

    下載地址：JDK下載地址

  • 解壓壓縮包並移動

sudo tar -zxf jdk-8u161-linux-x64.tar.gz #解壓

sudo mv jdk1.8.0_161/ /usr/local/java #移動壓縮包
複製代碼
  • 配置環境變量
$sudo vim ~/.bashrc

//在.bashrc文件中添加環境變量
export JAVA_HOME=/usr/local/java
export JRE_HOME=${JAVA_HOME}/jre  
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib  
export PATH=${JAVA_HOME}/bin:$PATH

//刷新變量文件
source ~/.bashrc

echo $JAVA_HOME     # 檢驗變量值
java -version
$JAVA_HOME/bin/java -version  # 與直接執行 java -version 同樣

複製代碼
sudo tar -zxf ~/下載/hadoop-2.6.0.tar.gz    #解壓
sudo mv hadoop-2.9.0 /usr/local/hadoop  # 將文件夾名改成hadoop
cd /usr/local/
sudo chown -R hadoop ./hadoop               # 修改文件權限
# 添加環境變量
# set hadoop enviroment
export HADOOP_HOME=/usr/local/hadoop
export PATH=${HADOOP_HOME}/bin:$PATH
export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop
複製代碼

Hadoop 解壓後便可使用。輸入以下命令來檢查 Hadoop 是否可用，成功則會顯示 Hadoop 版本信息：

cd /usr/local/hadoop
./bin/hadoop version
複製代碼

  • 配置Hadoop僞分佈模式

    Hadoop 的配置文件位於 /usr/local/hadoop/etc/hadoop/ 中，僞分佈式須要修改2個配置文件 core-site.xml 和 hdfs-site.xml 。Hadoop的配置文件是 xml 格式，每一個配置以聲明 property 的 name 和 value 的方式來實現。修改配置文件 core-site.xml (經過 gedit 編輯會比較方便: gedit ./etc/hadoop/core-site.xml)，將當中的 修改成下面配置：

<configuration>
    <property>
         <name>hadoop.tmp.dir</name>
         <value>file:/usr/local/hadoop/tmp</value>
         <description>Abase for other temporary directories.</description>
    </property>
    <property>
         <name>fs.defaultFS</name>
         <value>hdfs://IP:9000</value>
    </property>
 </configuration>
複製代碼

一樣的，修改配置文件 hdfs-site.xml：

<configuration>
   <property>
    	<name>dfs.replication</name>
    	<value>1</value>
   </property>
   <property>
    	<name>dfs.namenode.name.dir</name>
    	<value>file:/usr/local/hadoop/tmp/dfs/name</value>
   </property>
   <property>
    	<name>dfs.datanode.data.dir</name>
   	 <value>file:/usr/local/hadoop/tmp/dfs/data</value>
   </property>
</configuration>
複製代碼

配置完成後，執行 NameNode 的格式化:

./bin/hdfs namenode -format
複製代碼

成功的話，會看到 「successfully formatted」 和 「Exitting with status 0」 的提示，若爲 「Exitting with status 1」 則是出錯。

image

接着開啓 NameNode 和 DataNode 守護進程

./sbin/start-dfs.sh
複製代碼

Hadoop安裝完後，啓動時報Error: JAVA_HOME is not set and could not be found. 解決辦法：修改/etc/hadoop/hadoop-env.sh中設JAVA_HOME。應當使用絕對路徑。

export JAVA_HOME=$JAVA_HOME             //錯誤，不能這麼改

export JAVA_HOME=/usr/java/jdk1.6.0_45  //正確，應該這麼改
複製代碼

啓動完成後，能夠經過命令 jps 來判斷是否成功啓動，若成功啓動則會列出以下進程: 「NameNode」、」DataNode」 和 「SecondaryNameNode」（若是 SecondaryNameNode 沒有啓動，請運行 sbin/stop-dfs.sh 關閉進程，而後再次嘗試啓動嘗試）。若是沒有 NameNode 或 DataNode ，那就是配置不成功，請仔細檢查以前步驟，或經過查看啓動日誌排查緣由。

成功啓動後，能夠訪問 Web 界面 http://localhost:50070 查看 NameNode 和 Datanode 信息，還能夠在線查看 HDFS 中的文件。

image

  • 啓動YARN

YARN 是從 MapReduce 中分離出來的，負責資源管理與任務調度。YARN 運行於 MapReduce 之上，提供了高可用性、高擴展性，YARN 的更多介紹在此不展開，有興趣的可查閱相關資料。

上述經過 ./sbin/start-dfs.sh 啓動 Hadoop，僅僅是啓動了 MapReduce 環境，咱們能夠啓動 YARN ，讓 YARN 來負責資源管理與任務調度。

首先修改配置文件 mapred-site.xml，這邊須要先進行重命名：

mv ./etc/hadoop/mapred-site.xml.template ./etc/hadoop/mapred-site.xml
gedit ./etc/hadoop/mapred-site.xml

//添加配置信息
<configuration>
        <property>
             <name>mapreduce.framework.name</name>
             <value>yarn</value>
        </property>
</configuration>

//接着修改配置文件 yarn-site.xml：
<configuration>
        <property>
             <name>yarn.nodemanager.aux-services</name>
             <value>mapreduce_shuffle</value>
            </property>
</configuration>

複製代碼

增長以上信息在 yarn-site.xml to enable log aggregation.

yarn是用管理job的調度，而後這個地方須要手動的去開啓才能夠看到。不然使用sqoop導入數據將會報錯。

<property>    
    <name>yarn.log-aggregation-enable</name>    
    <value>true</value>    
</property>
複製代碼

而後就能夠啓動 YARN 了（須要先執行過 ./sbin/start-dfs.sh）：

./sbin/start-yarn.sh      # 啓動YARN
./sbin/mr-jobhistory-daemon.sh start historyserver  # 開啓歷史服務器，才能在Web中查看任務運行狀況
http://localhost:8088/cluster
複製代碼

開啓後經過 jps 查看，能夠看到多了 NodeManager 和 ResourceManager 兩個後臺進程，以下圖所示。

image

3.配置hive，參考Hive

安裝mysql

1. sudo apt-get install mysql-server

2. sudo apt-get install mysql-client

3. sudo apt-get install libmysqlclient-dev

4.安裝完成以後可使用以下命令來檢查是否安裝成功：
sudo netstat -tap | grep mysql

5.登錄mysql數據庫能夠經過以下命令：
mysql -u root -p

複製代碼

下載Hive

wget http://mirror.bit.edu.cn/apache/hive/hive-2.1.1/apache-hive-2.1.1-bin.tar.gz 

 tar -zxvf apache-hive-2.1.1-bin.tar.gz 

sudo mv apache-hive-2.1.1-bin /usr/local/hive
複製代碼

配置環境變量(同上)

export HIVE_HOME=/usr/local/hive
export HIVE_CONF_DIR=$HIVE_HOME/conf
export HCAT_HOME=$HIVE_HOME/hcatalog
export HIVE_CONF=$HIVE_HOME/conf
export PATH=${HIVE_HOME}/bin:$PATH
複製代碼

在hive的目錄下，新建warehouse、tmp、log文件夾。 修改配置文件hive/conf

cp hive-env.sh.template hive-env.sh 
cp hive-log4j2.properties.template hive-log4j2.properties 
cp hive-default.xml.template hive-site.xml
複製代碼

修改hive-env.sh，查找一下字段並去掉前面的註釋#，加上相應的路徑

export HADOOP_HEAPSIZE=1024
HADOOP_HOME=/usr/local/hadoop
export HIVE_CONF_DIR=/usr/local/hive/conf

複製代碼

這兒採用mysql做爲hive的元數據庫 在本身的mysql中爲hive新建一個用戶 mysql數據庫建立Hive用戶

mysql>CREATE USER 'hive' IDENTIFIED BY 'hive';
mysql>GRANT ALL PRIVILEGES ON *.* TO 'hive'@'%' WITH GRANT OPTION;
mysql>flush privileges;
複製代碼

修改hive-site.xml文件，添加相應的路徑和mysql數據庫，用戶名，密碼

<property>
    <name>hive.metastore.warehouse.dir</name>
    <value>/usr/local/hive/warehouse</value>
    <description>location of default database for the warehouse</description>
 </property>
 <property>
    <name>hive.querylog.location</name>
    <value>/usr/local/hive/log</value>
    <description>Location of Hive run time structured log file</description>
 </property>
 <property>
    <name>hive.downloaded.resources.dir</name>
    <value>/usr/local/hive/tmp</value>
    <description>Temporary local directory for added resources in the remote file system.</description>
 </property>
 <property>
    <name>javax.jdo.option.ConnectionURL</name>
    <value>jdbc:mysql://localhost:3306/hive</value>
    <description>
      JDBC connect string for a JDBC metastore.
      To use SSL to encrypt/authenticate the connection, provide database-specific SSL flag in the connection URL.
      For example, jdbc:postgresql://myhost/db?ssl=true for postgres database.
    </description>
  </property>
  <property>
<name>javax.jdo.option.ConnectionDriverName</name>
    <value>com.mysql.jdbc.Driver</value>
    <description>Driver class name for a JDBC metastore</description>
  </property>
 <property>
    <name>javax.jdo.option.ConnectionUserName</name>
    <value>hive</value>
    <description>Username to use against metastore database</description>
  </property>
<property>
    <name>javax.jdo.option.ConnectionPassword</name>
    <value>hive</value>
    <description>password to use against metastore database</description>
  </property>
複製代碼

  • 下載mysql-connector-java\

    地址：dev.mysql.com/downloads/c…
    解壓獲得mysql-connector-java-5.1.40.jar,拷貝到hive的lib目錄下。

  • 登錄MySQL建立hive數據庫

mysql> create database hive;
mysql> show databases
複製代碼
  • 在進入hive目錄下的bin目錄，運行命令：./schematool -initSchema -dbType mysql 如今hive已經安裝成功，輸入hive命令，便可運行hive

若是此時出現這個錯誤Exception in thread "main" java.lang.IllegalArgumentException: java.net.URISyntaxException: Relative path in absolute URI: ${system:java.io.tmpdir%7D/$%7Bsystem:user.name%7D

解決方案以下：

在hive 配置文件hive-site.xml 中找到${system:java.io.tmpdir}，並把此都替換成具體目錄，如/usr/local/hive/iotmp

Kylin用 HCatalog 讀取Hive表的，而HCatalog用 property hive.metastore.uris 建立HiveMetaStoreClient 獲得元信息。所以，咱們還需修改hive-site.xml：

<property>
  <name>hive.metastore.uris</name>
  <value>thrift://localhost:9083</value>
  <description>Thrift URI for the remote metastore. Used by metastore client to connect to remote metastore.</description>
</property>
複製代碼

開啓metastore 服務：

nohup hive --service metastore -p 9083 &
複製代碼

4.Hbase部署

  • 下載文檔版本的Hbanse,下載地址
  • 解壓並配置相關環境變量
tar -zxvf hbase-1.2.6-bin.tar.gz
sudo mv hbase-1.2.6 /usr/local/hbase
sudo vim ~/.bashrc
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HIVE_HOME/bin:$HBASE_HOME/bin
複製代碼

僞分佈部署：

僞分佈模式須要用到hadoop文件系統 ，因此配置會比單機模式麻煩不少 而且須要版本匹配；

  1. 修改conf/hbase-env.sh
# 添加java環境變量和hbase_classpath(指向hadoop的配置文件目錄)
export JAVA_HOME=/usr/local/java

#經過hadoop的配置文件找到hadoop集羣
export HBASE_CLASSPATH=/usr/local/hadoop/etc/hadoop

#使用HBASE自帶的zookeeper管理集羣
export HBASE_MANAGES_ZK=true
複製代碼
  1. 編輯hbase-site.xml
<configuration>
    <property>
		<name>hbase.rootdir</name>
		<value>hdfs://hadoopIp:9000/hbase</value>
	</property>
	<property>
		<name>hbase.cluster.distributed</name>
		<value>true</value>
	</property>
	<property>
		<name>hbase.zookeeper.property.dataDir</name>
		<value>/usr/local/hbase/zookeeper</value>
	</property>
	<property>
		<name>hbase.zookeeper.quorum</name>
		<value>hadoopIp</value>
	</property>
</configuration>
複製代碼

進入bin目錄以root權限開啓HBase服務：

# 注意在開啓hbase服務以前，必定要運行一下sudo chown -R hadoop ./hbase
./start-hbase.sh
#訪問http://172.60.20.12:16010/master-status 地址便可查看Hbase的配置信息
複製代碼

5.部署Kylin

  • 軟件下載地址
  • sudo tar -zxf apache-kylin-2.1.0-bin-hbase1x.tar.gz sudo mv apache-kylin-2.1.0-bin-hbase1x /usr/local/kylin

配置~/.bashrc文件，添加以下環境變量，並生效。

export KYLIN_HOME=/usr/local/kylin

export hive_dependency=$HIVE_HOME/conf:$HIVE_HOME/lib/*:$HCAT_HOME/share/hcatalog/hive-hcatalog-core-1.2.2.jar

PATH=$PATH:$HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$ZOOKEEPER_HOME/bin

PATH=$PATH:$HBASE_HOME/bin:$FLUME_HOME/bin:$HIVE_HOME/bin:$HCAT_HOME/bin

PATH=$PATH:$CATALINA_HOME/bin:$KYLIN_HOME/bin

export PATH

複製代碼

修改kylin.properties配置文件

#修改

kylin.server.cluster-servers=192.168.1.201:7070

#添加配置

kylin.job.jar=/usr/local/apps/kylin/lib/kylin-job-2.1.0.jar

kylin.coprocessor.local.jar=/usr/local/apps/kylin/lib/kylin-coprocessor-2.1.0.jar

kylin.job.yarn.app.rest.check.status.url=http://192.168.1.202:8088/ws/v1/cluster/apps/${job_id}?anonymous=true
複製代碼

注意：kylin 自己有bug，安裝成功以後會關聯不到hive/lib 須要修改kylin.sh 文件。 查找HBASE_CLASSPATH_PREFIX行，並修改成

export HBASE_CLASSPATH_PREFIX=${KYLIN_HOME}/conf:${KYLIN_HOME}/lib/*:${KYLIN_HOME}/ext/*:${hive_dependency}:${HBASE_CLASSPATH_PREFIX}
複製代碼

設置完畢以後便可經過kylin.sh start命令啓動項目，訪問http://XXX.XX.XX.XX:7070/kylin 進入Web管理界面。

注意： 當打開Kylin主頁顯示沒法加載Kylin.config時，請關閉kylin中自帶的tomcat的ssl認證和gzip功能.

文章參考： Apache Kylin 部署之不徹底指南

CDH環境下kylin的安裝教程

Hadoop安裝教程_單機/僞分佈式配置_Hadoop2.6.0/Ubuntu14.04

我的博客地址：aikiller.github.io/

相關文章
相關標籤/搜索
每日一句
    每一个你不满意的现在，都有一个你没有努力的曾经。
本站公眾號
   歡迎關注本站公眾號,獲取更多信息
聯繫我們 最近搜索 最新文章 沪ICP备13005482号-10 MyBatis教程 SQL 教程 MySQL教程 Java 教程 Thymeleaf 教程 Hibernate教程 Spring教程 Redis教程