Hadoop中 HDFS的設計

HDFS是Hadoop Distrbition FileSystem 的縮寫,分佈式文件系統。這種設計的思想是來源於操做系統,總體的來看是也是master/slave的控制方式,設計的用途主要有如下的集中:分佈式

硬件要求:
一、當前的文件能夠存儲到普通的pc硬盤上,就是沒有很高的硬件要求;oop

文件處理的方式:
一、處理較大的文件,較小的文件處理起來不划算;
二、文件是以文件流的形式進行存儲,其實就是一次性寫入,屢次讀取的情景;
三、後期的文件能夠對已經存在的文件追加寫入,前提是單一用戶,不能讓多用來這麼作;
 操作系統

處理的效率:
主要的適用於延遲比較大的數據分析,不適合實時的數據處理;設計

相關文章
相關標籤/搜索