大數據處理系統，分佈式存儲系統和分佈式計算框架介紹

整個大數據處理的體系，按個人理解能夠分爲兩個部分，一個是分佈式存儲系統、另外一個是分佈式計算框架。分佈式存儲系統主流是HadoopDFS，其餘還有Ceph和Swift。分佈式計算框架主流是MapReduce，Storm和Spark。html 首先說分佈式存儲系統HadoopDFS。它是一種本地文件系統之上的更高的抽象，把跨節點的組成的文件系統當作一個邏輯上的總體。它存儲的思路是，把文件分紅一個個b

>>阅读原文<<