Hive-談談你對Hive的認識

結合其餘同窗和本身的筆記總結以下  

什麼是hive?

• 基於Hadoop的開源的數據倉庫工具，用於處理海量結構化數據。
• Hive把HDFS中結構化的數據映射成表。
• Hive經過把HiveSQL進行解析和轉換，最終生成一系列在hadoop上運行的mapreduce任務，經過執行這些任務完成數據分析與處理。

Hive與傳統數據庫的比較

因爲Hive採用了SQL的查詢語言HQL，所以很容易將Hive理解爲數據庫。其實從結構上來看，Hive和數據庫除了擁有相似的查詢語言，再無相似之處。本文將從多個方面來闡述Hive和數據庫的差別。數據庫能夠用在Online的應用中，可是Hive是爲數據倉庫而設計的，清楚這一點，有助於從應用角度理解Hive的特性。

 

1.查詢語言

因爲 SQL被普遍的應用在數據倉庫中，所以，專門針對 Hive的特性設計了類 SQL的查詢語言 HQL。熟悉 SQL開發的開發者能夠很方便的使用 Hive進行開發。

2.數據存儲位置

Hive 是創建在 Hadoop之上的，全部 Hive的數據都是存儲在 HDFS中的。而數據庫則能夠將數據保存在塊設備或者本地文件系統中。

3.數據格式

Hive 中沒有定義專門的數據格式，數據格式能夠由用戶指定，用戶定義數據格式須要指定三個屬性：列分隔符（一般爲空格、」\t」、」\x001″）、行分隔符（」\n」）以及讀取文件數據的方法（Hive中默認有三個文件格式TextFile，SequenceFile以及 RCFile）。因爲在加載數據的過程當中，不須要從用戶數據格式到 Hive定義的數據格式的轉換，所以，Hive在加載的過程當中不會對數據自己進行任何修改，而只是將數據內容複製或者移動到相應的 HDFS目錄中。而在數據庫中，不一樣的數據庫有不一樣的存儲引擎，定義了本身的數據格式。全部數據都會按照必定的組織存儲，所以，數據庫加載數據的過程會比較耗時。

4.數據更新

因爲 Hive是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。所以，Hive中不支持對數據的改寫和添加，全部的數據都是在加載的時候中肯定好的。而數據庫中的數據一般是須要常常進行修改的，所以可使用 INSERT INTO ...  VALUES添加數據，使用 UPDATE ... SET修改數據。

5.索引

以前已經說過，Hive在加載數據的過程當中不會對數據進行任何處理，甚至不會對數據進行掃描，所以也沒有對數據中的某些Key創建索引。Hive要訪問數據中知足條件的特定值時，須要暴力掃描整個數據，所以訪問延遲較高。因爲 MapReduce的引入， Hive能夠並行訪問數據，所以即便沒有索引，對於大數據量的訪問，Hive仍然能夠體現出優點。數據庫中，一般會針對一個或者幾個列創建索引，所以對於少許的特定條件的數據的訪問，數據庫能夠有很高的效率，較低的延遲。因爲數據的訪問延遲較高，決定了 Hive不適合在線數據查詢。

6.執行

Hive 中大多數查詢的執行是經過 Hadoop提供的 MapReduce來實現的（相似 select * from tbl的查詢不須要MapReduce）。而數據庫一般有本身的執行引擎，executor執行器。

7.執行延遲

以前提到，Hive在查詢數據的時候，因爲沒有索引，須要掃描整個表，所以延遲較高。另一個致使 Hive執行延遲高的因素是MapReduce框架。因爲 MapReduce自己具備較高的延遲，所以在利用 MapReduce執行 Hive 查詢時，也會有較高的延遲。相對的，數據庫的執行延遲較低。固然，這個低是有條件的，即數據規模較小，當數據規模大到超過數據庫的處理能力的時候，Hive的並行計算顯然能體現出優點。

8.可擴展性

因爲 Hive是創建在 Hadoop之上的，所以 Hive的可擴展性是和 Hadoop的可擴展性是一致的。而數據庫因爲 ACID語義的嚴格限制，擴展行很是有限。目前最早進的並行數據庫 Oracle在理論上的擴展能力也只有 100臺左右。

9.數據規模

因爲 Hive創建在集羣上並能夠利用 MapReduce進行並行計算，所以能夠支持很大規模的數據；對應的，數據庫能夠支持的數據規模較小。

 

說明：

• 數據倉庫/數據湖主要是用來數據分析的，對企業中的決策起到關鍵性的做用。
• 數據倉庫自己不產生數據，也不消耗數據；其數據是從外部來的，而且主要提供給外部使用。
• 數據倉庫是面向主題性來構建的，通常一個數倉都有一個特定的目的。數據倉庫集成了衆多類型的數據，分紅了許多不一樣的層次。
• 數據倉庫中的歷史數據通常不會改變，由於其主要用來記錄已經發生的事實的數據。
• 數據倉庫上層的分析是可能會發生變化的，體現了分析的靈活性。
• 面向事務的聯機事務處理OLTP vs 面向分析的聯機分析處理OLAP

Hive的優點：

• 把海量數據存儲於 Hadoop 文件系統，而不是數據庫。提供了一套類數據庫的數據存儲和處理機制，並採用 HQL （類 SQL ）語言對這些數據進行自動化處理。
• 不只提供了一個熟悉SQL的用戶所能熟悉的編程模型，還消除了大量的通用代碼，甚至那些那些Java編寫的使人棘手的代碼。
• 學習成本低，能夠經過類SQL語句快速實現簡單的MapReduce統計，沒必要開發專門的MapReduce應用，十分適合數據倉庫的統計分析，應用開發靈活而高效。

 

 

 

 如下慎用：

查看數據庫信息

desc database extended 數據庫名；

刪除數據庫

drop database if exists 庫名；

強制刪除數據庫

drop database if exists 庫名 cascode；

 

參考連接：https://blog.csdn.net/shida1009/article/details/78789741