1、hive安裝(內置數據庫derby)

hive是一個數據倉庫工具,創建在hadoop之上,它的存在是爲了讓大數據的查詢和分析更加的方便。hive提供簡單的sql查詢功能,並最終轉換爲mapreduce任務執行。html

1、環境

  • JDK1.8+官方推薦新版JDK,不然可能存在不一樣版本不兼容問題
  • hadoop採用2.0+版本,不然hive2.0+將不支持hadoop1.0+
  • Linux環境和window皆可做爲生產環境,可是macos的話通常做爲開發環境

本文采用centos7系統,JDk1.8,和hadoop2.9mysql

JDK安裝參考:https://www.cnblogs.com/lay2017/p/7442217.html

hadoop單節點安裝參考:https://www.cnblogs.com/lay2017/p/9912381.html

hdfs單節點安裝配置:https://www.cnblogs.com/lay2017/p/9919905.html

以上,咱們構建了JDK,hadoop以及配置了hadoop中的hdfs。hive將基於jdk和hadoop環境,將數據存儲在hdfs中。sql

同時,爲了簡單,咱們只進行單節點安裝配置,並只配置了hdfs,沒有mapreduce和yarn的配置。shell

以及,元數據存儲咱們也不使用獨立的mysql或者derby,直接採用默認的內置數據庫derby,使用內置數據庫只會容許有一個connection,因此若是是生產環境一般是會使用獨立的數據庫mysql數據庫

這樣,咱們就構建了hive的基本環境,接下來咱們進行hive的安裝配置macos

 

2、hive安裝配置

咱們先創建一個Hive目錄,而後進入該目錄apache

mkdirs /usr/local/hadoop/hive
cd /usr/local/hadoop/hive

本文采用1.2.2版本的hive,下載該tar包,這裏要等待一段時間centos

wget http://mirrors.hust.edu.cn/apache/hive/hive-1.2.2/apache-hive-1.2.2-bin.tar.gz

而後解壓工具

tar apache-hive-1.2.2-bin.tar.gz

你能夠看到解壓後的文件oop

接下來咱們須要給hive配置環境變量

固然,請確保你以前安裝的hadoop和jdk是可用的配置

使用命令,使得配置生效

source /etc/profile

咱們進入hive目錄

cd /usr/local/hadoop/hive/apache-hive-1.2.2-bin

進入hive shell看看(請記得要先啓動hdfs:start-dfs.sh)

這樣就說明咱們已經配置成功hive了,退出hive

咱們看到該目錄下建立了metastore

這就意味着在apache-hive-1.2.2-bin目錄下存放着你的元數據,而下次你也得在這個目錄去啓動hive,若是在其餘位置啓動Hive,你會找不到這些表而以爲奇怪。

以上,咱們就簡單安裝配置了hive,併成功啓動hive shell同時自動建立了元數據數據庫(metastore_db);

相關文章
相關標籤/搜索