Hadoop、Hive、Spark 之間關係

做者：Xiaoyu Ma ，大數據工程師

大數據自己是個很寬泛的概念，Hadoop生態圈(或者泛生態圈)基本上都是爲了處理超過單機尺度的數據處理而誕生的。你能夠把它比做一個廚房因此須要的各類工具。鍋碗瓢盆，各有各的用處，互相之間又有重合。你能夠用湯鍋直接當碗吃飯喝湯，你能夠用小刀或者刨子去皮。可是每一個工具備本身的特性，雖然奇怪的組合也能工做，可是未必是最佳選擇。

大數據，首先你要能存的下大數據

傳統的文件系統是單機的，不能橫跨不一樣的機器。HDFS(Hadoop Distributed FileSystem)的設計本質上是爲了大量的數據能橫跨成百上千臺機器，可是你看到的是一個文件系統而不是不少文件系統。好比你說我要獲取/hdfs/tmp/file1的數據，你引用的是一個文件路徑，可是實際的數據存放在不少不一樣的機器上。你做爲用戶，不須要知道這些，就比如在單機上你不關心文件分散在什麼磁道什麼扇區同樣。HDFS爲你管理這些數據。

存的下數據以後，你就開始考慮怎麼處理數據。雖然HDFS能夠爲你總體管理不一樣機器上的數據，可是這些數據太大了。一臺機器讀取成T上P的數據(很大的數據哦，好比整個東京熱有史以來全部高清電影的大小甚至更大)，一臺機器慢慢跑也許須要好幾天甚至好幾周。對於不少公司來講，單機處理是不可忍受的，好比微博要更新24小時熱博，它必須在24小時以內跑完這些處理。那麼我若是要用不少臺機器處理，我就面臨瞭如何分配工做，若是一臺機器掛了如何從新啓動相應的任務，機器之間如何互相通訊交換數據以完成複雜的計算等等。這就是MapReduce / Tez / Spark的功能。MapReduce是第一代計算引擎，Tez和Spark是第二代。MapReduce的設計，採用了很簡化的計算模型，只有Map和Reduce兩個計算過程(中間用Shuffle串聯)，用這個模型，已經能夠處理大數據領域很大一部分問題了。

那什麼是Map,什麼是Reduce?

考慮若是你要統計一個巨大的文本文件存儲在相似HDFS上，你想要知道這個文本里各個詞的出現頻率。你啓動了一個MapReduce程序。Map階段，幾百臺機器同時讀取這個文件的各個部分，分別把各自讀到的部分分別統計出詞頻，產生相似(hello, 12100次)，(world，15214次)等等這樣的Pair(我這裏把Map和Combine放在一塊兒說以便簡化);這幾百臺機器各自都產生了如上的集合，而後又有幾百臺機器啓動Reduce處理。Reducer機器A將從Mapper機器收到全部以A開頭的統計結果，機器B將收到B開頭的詞彙統計結果(固然實際上不會真的以字母開頭作依據，而是用函數產生Hash值以免數據串化。由於相似X開頭的詞確定比其餘要少得多，而你不但願數據處理各個機器的工做量相差懸殊)。而後這些Reducer將再次彙總，(hello，12100)+(hello，12311)+(hello，345881)= (hello，370292)。每一個Reducer都如上處理，你就獲得了整個文件的詞頻結果。

這看似是個很簡單的模型，但不少算法均可以用這個模型描述了。

Map+Reduce的簡單模型很黃很暴力，雖然好用，可是很笨重。第二代的Tez和Spark除了內存Cache之類的新feature，本質上來講，是讓Map/Reduce模型更通用，讓Map和Reduce之間的界限更模糊，數據交換更靈活，更少的磁盤讀寫，以便更方便地描述複雜算法，取得更高的吞吐量。

有了MapReduce，Tez和Spark以後，程序員發現，MapReduce的程序寫起來真麻煩。他們但願簡化這個過程。這就比如你有了彙編語言，雖然你幾乎什麼都能幹了，可是你仍是以爲繁瑣。你但願有個更高層更抽象的語言層來描述算法和數據處理流程。因而就有了Pig和Hive。Pig是接近腳本方式去描述MapReduce，Hive則用的是SQL。它們把腳本和SQL語言翻譯成MapReduce程序，丟給計算引擎去計算，而你就從繁瑣的MapReduce程序中解脫出來，用更簡單更直觀的語言去寫程序了。

有了Hive以後，人們發現SQL對比Java有巨大的優點。一個是它太容易寫了。剛纔詞頻的東西，用SQL描述就只有一兩行，MapReduce寫起來大約要幾十上百行。而更重要的是，非計算機背景的用戶終於感覺到了愛：我也會寫SQL!因而數據分析人員終於從乞求工程師幫忙的窘境解脫出來，工程師也從寫奇怪的一次性的處理程序中解脫出來。你們都開心了。Hive逐漸成長成了大數據倉庫的核心組件。甚至不少公司的流水線做業集徹底是用SQL描述，由於易寫易改，一看就懂，容易維護。

自從數據分析人員開始用Hive分析數據以後，它們發現，Hive在MapReduce上跑，真雞巴慢!流水線做業集也許沒啥關係，好比24小時更新的推薦，反正24小時內跑完就算了。可是數據分析，人們老是但願能跑更快一些。好比我但願看過去一個小時內多少人在充氣娃娃頁面駐足，分別停留了多久，對於一個巨型網站海量數據下，這個處理過程也許要花幾十分鐘甚至不少小時。而這個分析也許只是你萬里長征的第一步，你還要看多少人瀏覽了跳蛋多少人看了拉赫曼尼諾夫的CD，以便跟老闆彙報，咱們的用戶是猥瑣男悶騷女更多仍是文藝青年/少女更多。你沒法忍受等待的折磨，只能跟帥帥的工程師蟈蟈說，快，快，再快一點!

因而Impala，Presto，Drill誕生了(固然還有無數非著名的交互SQL引擎，就不一一列舉了)。三個系統的核心理念是，MapReduce引擎太慢，由於它太通用，太強壯，太保守，咱們SQL須要更輕量，更激進地獲取資源，更專門地對SQL作優化，並且不須要那麼多容錯性保證(由於系統出錯了大不了從新啓動任務，若是整個處理時間更短的話，好比幾分鐘以內)。這些系統讓用戶更快速地處理SQL任務，犧牲了通用性穩定性等特性。若是說MapReduce是大砍刀，砍啥都不怕，那上面三個就是剔骨刀，靈巧鋒利，可是不能搞太大太硬的東西。

這些系統，說實話，一直沒有達到人們指望的流行度。由於這時候又兩個異類被造出來了。他們是Hive on Tez / Spark和SparkSQL。它們的設計理念是，MapReduce慢，可是若是我用新一代通用計算引擎Tez或者Spark來跑SQL，那我就能跑的更快。並且用戶不須要維護兩套系統。這就比如若是你廚房小，人又懶，對吃的精細程度要求有限，那你能夠買個電飯煲，能蒸能煲能燒，省了好多廚具。

上面的介紹，基本就是一個數據倉庫的構架了。底層HDFS，上面跑MapReduce/Tez/Spark，在上面跑Hive，Pig。或者HDFS上直接跑Impala，Drill，Presto。這解決了中低速數據處理的要求。

那若是我要更高速的處理呢?

若是我是一個相似微博的公司，我但願顯示不是24小時熱博，我想看一個不斷變化的熱播榜，更新延遲在一分鐘以內，上面的手段都將沒法勝任。因而又一種計算模型被開發出來，這就是Streaming(流)計算。Storm是最流行的流計算平臺。流計算的思路是，若是要達到更實時的更新，我何不在數據流進來的時候就處理了?好比仍是詞頻統計的例子，個人數據流是一個一個的詞，我就讓他們一邊流過我就一邊開始統計了。流計算很牛逼，基本無延遲，可是它的短處是，不靈活，你想要統計的東西必須預先知道，畢竟數據流過就沒了，你沒算的東西就沒法補算了。所以它是個很好的東西，可是沒法替代上面數據倉庫和批處理系統。

還有一個有些獨立的模塊是KV Store，好比Cassandra，HBase，MongoDB以及不少不少不少不少其餘的(多到沒法想象)。因此KV Store就是說，我有一堆鍵值，我能很快速滴獲取與這個Key綁定的數據。好比我用身份證號，能取到你的身份數據。這個動做用MapReduce也能完成，可是極可能要掃描整個數據集。而KV Store專用來處理這個操做，全部存和取都專門爲此優化了。從幾個P的數據中查找一個身份證號，也許只要零點幾秒。這讓大數據公司的一些專門操做被大大優化了。好比我網頁上有個根據訂單號查找訂單內容的頁面，而整個網站的訂單數量沒法單機數據庫存儲，我就會考慮用KV Store來存。KV Store的理念是，基本沒法處理複雜的計算，大多無法JOIN，也許無法聚合，沒有強一致性保證(不一樣數據分佈在不一樣機器上，你每次讀取也許會讀到不一樣的結果，也沒法處理相似銀行轉帳那樣的強一致性要求的操做)。可是丫就是快。極快。

每一個不一樣的KV Store設計都有不一樣取捨，有些更快，有些容量更高，有些能夠支持更復雜的操做。必有一款適合你。

除此以外，還有一些更特製的系統/組件，好比Mahout是分佈式機器學習庫，Protobuf是數據交換的編碼和庫，ZooKeeper是高一致性的分佈存取協同系統，等等。

有了這麼多亂七八糟的工具，都在同一個集羣上運轉，你們須要互相尊重有序工做。因此另一個重要組件是，調度系統。如今最流行的是Yarn。你能夠把他看做中央管理，比如你媽在廚房監工，哎，你妹妹切菜切完了，你能夠把刀拿去殺雞了。只要你們都服從你媽分配，那你們都能愉快滴燒菜。

你能夠認爲，大數據生態圈就是一個廚房工具生態圈。爲了作不一樣的菜，中國菜，日本菜，法國菜，你須要各類不一樣的工具。並且客人的需求正在複雜化，你的廚具不斷被髮明，也沒有一個萬用的廚具能夠處理全部狀況，所以它會變的愈來愈複雜。

End.

來源： http://www.36dsj.com/archives/55795

對於hbase當前noSql數據庫的一種，最多見的應用場景就是採集的網頁數據的存儲，因爲是key-value型數據庫，能夠再擴展到各類key-value應用場景，如日誌信息的存儲，對於內容信息不須要徹底結構化出來的類CMS應用等。注意hbase針對的仍然是OLTP應用爲主。

對於hive主要針對的是OLAP應用，注意其底層不是hbase，而是hdfs分佈式文件系統，重點是基於一個統一的查詢分析層，支撐OLAP應用中的各類關聯，分組，聚合類SQL語句。hive通常只用於查詢分析統計，而不能是常見的CUD操做，要知道HIVE是須要從已有的數據庫或日誌進行同步最終入到hdfs文件系統中，當前要作到增量實時同步都至關困難。

和mysql,oracle徹底不是相同的應用場景。這個是結構化數據庫，針對的更多的是結構化，事務一致性要求高，業務規則邏輯複雜，數據模型複雜的企業信息化類應用等。包括互聯網應用中的不少業務系統也須要經過結構化數據庫來實現。因此和hbase,hive不是一個層面的東西，不比較。

做者：何明璐
連接：http://www.zhihu.com/question/21677041/answer/25222796
來源：知乎
著做權歸做者全部，轉載請聯繫做者得到受權。

OLTP即聯機事務處理，就是咱們常常說的關係數據庫，意即記錄即時的增、刪、改、查，就是咱們常常應用的東西，這是數據庫的基礎；
OLAP即聯機分析處理，是數據倉庫的核心部心，所謂數據倉庫是對於大量已經由OLTP造成的數據的一種分析型的數據庫，用於處理商業智能、決策支持等重要的決策信息；數據倉庫是在數據庫應用到必定程序以後而對歷史數據的加工與分析；是處理兩種不一樣用途的工具而已。

OLAP、OLTP的介紹和比較

http://blog.csdn.net/zhangzheng0413/article/details/8271322/

來自爲知筆記(Wiz)