搭建hive框架

今天就進入Hive框架的搭建、管理、使用。

Hive是一個披着數據庫外殼的hdfs。
HDFS比較難用、文件系統天生難用。Hive是大數據是爲傳統開發人員,數據庫管理人員使用大數據平臺,提供了可能 。Hive作爲最早一個類數據庫產品,成爲學習大數據的必修框架之一,但其性能堪憂。

配置Hive

Hive作爲一個單獨框架,基於Hadoop集羣,但不一定非要安裝在集羣內部。
可自行再安裝一臺Linux作業獨立的Hive服務器會比較好。
1、 上傳
2、 解包至指定目錄
a) 解壓命令tar -zxvf apache-hive-2.3.3-bin.tar.gz -C /usr/hadoop/ (路徑)

1、 配置(首次不需要配置,使用默認配置即可,因爲其默認使用derby)
a) 下次切換mysql metastore時,需要配置
b) cp hive-default.xml.template hive-site.xml (第一步複製)
c) vi hive-site.xml (修改hive-site.xml文件)

如下圖刪除 只剩對標的configuration

在這裏插入圖片描述

1、 啓動
a) 再初始化 metastorm
/usr/hadoop/apache-hive-2.3.3-bin/bin路徑下初始化
初始化命令 ./schematool -initSchema -dbType derby

b) 再啓動即可
/usr/hadoop/apache-hive-2.3.3-bin/bin路徑下初始化
啓動yarn 啓動命令
啓動hive 啓動命令 ./hive

Master 的內存 調整到2G,基本可以同時運行hdfs、yarn平臺Hive
8088端口可查看yarn平臺上正在執行的作業:
http://10.0.18.101:8088
Hive元數據存儲在MetaStorm
數據本身存儲在HDFS:
默認的存儲路徑:/user/hive/warehouse

顯示有什麼庫 show databases; 建表命令 create table t_user(id int,name String); 往表裏插入數據 insert into t_user(id,name) values(1,‘gary’);