技術分享：大數據知識體系

j整個大數據處理的體系，按我的理解可以分爲兩個部分，一個是分佈式存儲系統、另一個是分佈式計算框架。分佈式存儲系統主流是HadoopDFS，其他還有Ceph和Swift。分佈式計算框架主流是MapReduce，Storm和Spark。 首先說分佈式存儲系統HadoopDFS。它是一種本地文件系統之上的更高的抽象，把跨節點的組成的文件系統看成一個邏輯上的整體。它存儲的思路是，把文件分成一個個block

>>阅读原文<<