別老扯什麼Hadoop了，你的數據根本不夠大

本文原名「Don't use Hadoop when your data isn't that big 」，出自有着多年從業經驗的數據科學家Chris Stucchio，紐約大學柯朗研究所博士後，搞太高頻交易平臺，當過創業公司的CTO，更習慣稱本身爲統計學者。對了，他如今本身創業，提供數據分析、推薦優化諮詢服務，他的郵件是：stucchio@gmail.com 。

「你有多少大數據和Hadoop的經驗？」他們問我。我一直在用Hadoop，但不多處理幾TB以上的任務。我基本上只是一個大數據新手——知道概念，寫過代碼，可是沒有大規模經驗。

接下來他們會問：「你能用Hadoop作簡單的group by和sum操做嗎？」我固然會，但我會說須要看看具體文件格式。

他們給我一個U盤，裏面有全部的數據，600MB，對，他們全部的數據。不知道爲何，我用pandas.read_csv（Pandas是一種Python數據分析庫）而不是Hadoop完成了這個任務後，他們顯得很不滿意。

Hadoop實際上是挺侷限的。它無非是運行某個通用的計算，用SQL僞代碼表示就是： SELECT G(...) FROM table GROUP BY F(...) 你只能改變G和F操做，除非要在中間步驟作性能優化（這可不怎麼好玩！）。其餘一切都是死的。

（關於MapReduce，以前做者寫過一篇「41個詞講清楚MapReduce」，能夠參考。）

Hadoop裏，全部計算都必須按照一個map、一個group by、一個aggregate或者這種計算序列來寫。這和穿上緊身衣同樣，多憋得慌啊。許多計算用其餘模型其實更適合。忍受緊身衣的惟一緣由就是，能夠擴 展到極大極大的數據集。可你的數據集實際上極可能根本遠遠夠不上那個數量級。

但是呢，由於Hadoop和大數據是熱詞，世界有一半的人都想穿上緊身衣，即便他們根本不須要。

可個人數據有好幾百MB呢！Excel都裝不下

對Excel很大可不是什麼大數據。有不少好工具——我喜歡用的是基於Numpy的Pandas。它能夠將幾百MB數據以高效的向量化格式加載到內存，在我已經3年的老筆記本上，一眨眼的功夫，Numpy就能完成1億次浮點計算。Matlab和R也是很棒的工具。

數百MB數據通常用一個簡單的Python腳本逐行讀取文件、處理，而後寫到了一個文件就好了。

可個人數據有10G呢！

我剛買了一臺筆記本電腦。16G內存花了141.98美圓，256GB SSD多收200美圓。另外，若是在Pandas里加載一個10GB的csv文件，實際在內存裏並無那麼大——你能夠將 「17284932583」 這樣的數值串存爲4位或者8位整數，「284572452.2435723」存爲8位雙精度。

最差狀況下，你還能夠不一樣時將全部數據都一次加載到內存裏。

可個人數據有100GB/500GB/1TB！

一個2T的硬盤才94.99美圓，4T是169.99。買一塊，加到桌面電腦或者服務器上，而後裝上PostgreSQL。

Hadoop的適用範圍遠小於SQL和Python腳本

從計算的表達能力來講，Hadoop比SQL差多了。Hadoop裏能寫的計算，在SQL或者簡單的Python腳本均可以更輕鬆地寫出來。

SQL是直觀的查詢語言，沒有太多抽象，業務分析師和程序員都很經常使用。SQL查詢每每很是簡單，並且通常也很快——只要數據庫正確地作了索引，要花幾秒鐘的查詢都不太多見。

Hadoop沒有任何索引的概念，它只知道全表掃描。並且Hadoop抽象層次太多了——我以前的項目盡在應付Java內存錯誤、內存碎片和集羣競用了，實際的數據分析工做反而沒了時間。

若是你的數據結構不是SQL表的形式（好比純文本、JSON、二進制），通常寫一小段Python或者Ruby腳本按行處理更直接。保存在多個文件裏，逐個處理便可。SQL不適用的狀況下，從編程來講Hadoop也沒那麼糟糕，但相比Python腳本仍然沒有什麼優點。

除了難以編程，Hadoop還通常老是比其餘技術方案要慢。只要索引用得好，SQL查詢很是快。好比要計算join，PostgreSQL只需查看 索引（若是有），而後查詢所需的每一個鍵。而Hadoop呢，必須作全表掃描，而後重排整個表。排序經過多臺機器之間分片能夠加速，但也帶來了跨多機數據流 處理的開銷。若是要處理二進制文件，Hadoop必須反覆訪問namenode。而簡單的Python腳本只要反覆訪問文件系統便可。

可個人數據超過了5TB！

你的命可真苦——只能苦逼地折騰Hadoop了，沒有太多其餘選擇（可能還能用許多硬盤容量的高富帥機器來扛），並且其餘選擇每每貴得要命（腦海中浮現出IOE等等字樣……）。

用Hadoop惟一的好處是擴展。若是你的數據是一個數TB的單表，那麼全表掃描是Hadoop的強項。此外的話，請關愛生命，儘可能遠離Hadoop。它帶來的煩惱根本不值，用傳統方法既省時又省力。

附註：Hadoop也是不錯的工具

我可不是成心黑Hadoop啊。其實我本身常常用Hadoop來完成其餘工具沒法輕易完成的任務。（我推薦使用Scalding，而不是Hive或者Pig，由於你能夠用Scala語言來寫級聯Hadoop任務，隱藏了MapReduce底層細節。）我本文要強調的是，用Hadoop以前應該三思而行，別500MB數據這樣的蚊子，你也拿Hadoop這樣的大炮來轟。

PS:

MapReduce explained in 41 words

Goal: count the number of books in the library.

Map: You count up shelf #1, I count up shelf #2.

(The more people we get, the faster this part goes. )

Reduce: We all get together and add up our individual counts.