hive和關係型數據庫RDBMS的異同

摘要：因爲 Hive 採用了 SQL 的查詢語言 HQL，所以很容易將 Hive 理解爲數據庫。其實
從結構上來看，Hive 和數據庫除了擁有相似的查詢語言，再無相似之處。本文將
從多個方面來闡述 Hive 和數據庫的差別。數據庫能夠用在 Online 的應用中，可是
Hive 是爲數據倉庫而設計的，清楚這一點，有助於從應用角度理解 Hive 的特性。

Hive 和數據庫的比較

查詢語言	HQL	SQL
數據存儲位置	HDFS	Raw Device 或者 Local FS
數據格式	用戶定義	系統決定
數據更新	不支持	支持
索引	無	有
執行	MapRedcue	Executor
執行延遲	高	低
可擴展性	高	低
數據規模	大	小

1. 查詢語言。因爲 SQL 被普遍的應用在數據倉庫中，所以，專門針對 Hive 的特性設計了類 SQL 的查詢語言 HQL。熟悉 SQL 開發的開發者能夠很方便的使用 Hive 進行開發。
2. 數據存儲位置。Hive 是創建在 Hadoop 之上的，全部 Hive 的數據都是存儲在 HDFS 中的。而數據庫則能夠將數據保存在塊設備或者本地文件系統中。
3. 數據格式。Hive 中沒有定義專門的數據格式，數據格式能夠由用戶指定，用戶定義數據格式須要指定三個屬性：列分隔符（一般爲空格、」\t」、」\x001″）、行分隔符（」\n」）以及讀取文件數據的方法（Hive 中默認有三個文件格式 TextFile，SequenceFile 以及 RCFile）。因爲在加載數據的過程當中，不須要從用戶數據格式到 Hive 定義的數據格式的轉換，所以，Hive 在加載的過程當中不會對數據自己進行任何修改，而只是將數據內容複製或者移動到相應的 HDFS 目錄中。而在數據庫中，不一樣的數據庫有不一樣的存儲引擎，定義了本身的數據格式。全部數據都會按照必定的組織存儲，所以，RDBMS數據庫加載數據的過程會比較耗時。
4. 數據更新。因爲 Hive 是針對數據倉庫應用設計的，而數據倉庫的內容是讀多寫少的。所以，Hive 中不支持對數據的改寫和添加，全部的數據都是在加載的時候中肯定好的。而數據庫中的數據一般是須要常常進行修改的，所以可使用 INSERT INTO ...  VALUES 添加數據，使用 UPDATE ... SET 修改數據。
5. 索引。以前已經說過，Hive 在加載數據的過程當中不會對數據進行任何處理，甚至不會對數據進行掃描，所以也沒有對數據中的某些 Key 創建索引。Hive 要訪問數據中知足條件的特定值時，須要暴力掃描整個數據，所以訪問延遲較高。因爲 MapReduce 的引入， Hive 能夠並行訪問數據，所以即便沒有索引，對於大數據量的訪問，Hive 仍然能夠體現出優點。數據庫中，一般會針對一個或者幾個列創建索引，所以對於少許的特定條件的數據的訪問，數據庫能夠有很高的效率，較低的延遲。因爲數據的訪問延遲較高，決定了 Hive 不適合在線數據查詢。
6. 執行。Hive 中大多數查詢的執行是經過 Hadoop 提供的 MapReduce 來實現的（相似 select * from tbl 的查詢不須要 MapReduce）。而數據庫一般有本身的執行引擎。
7. 執行延遲。以前提到，Hive 在查詢數據的時候，因爲沒有索引，須要掃描整個表，所以延遲較高。另一個致使 Hive 執行延遲高的因素是 MapReduce 框架。因爲 MapReduce 自己具備較高的延遲，所以在利用 MapReduce 執行 Hive 查詢時，也會有較高的延遲。相對的，數據庫的執行延遲較低。固然，這個低是有條件的，即數據規模較小，當數據規模大到超過數據庫的處理能力的時候，Hive 的並行計算顯然能體現出優點。hive執行延遲高，只有在數據規模達到必定程度後，其查詢的高效才能彌補其高延遲的劣勢。
8. 可擴展性。因爲 Hive 是創建在 Hadoop 之上的，所以 Hive 的可擴展性是和 Hadoop 的可擴展性是一致的（世界上最大的 Hadoop 集羣在 Yahoo!，2009年的規模在 4000 臺節點左右）。而數據庫因爲 ACID 語義的嚴格限制，擴展行很是有限。目前最早進的並行數據庫 Oracle 在理論上的擴展能力也只有 100 臺左右。
9. 數據規模。因爲 Hive 創建在集羣上並能夠利用 MapReduce 進行並行計算，所以能夠支持很大規模的數據；對應的，數據庫能夠支持的數據規模較小。