hadoop 客戶端寫數據的過程

1.先描述一下寫。在客戶端往hdfs寫數據的時候(應該包括append),數據是以包爲單位發生到hdfs的datanode上的。包會先放到一個dataQueue中去,有一個DataStreamer服務會查看這個dataQueue是否有包,而且堅持這個包是否是塊(一個hdfs塊,默認的爲64M)。若是有包了會先向namenode申請一個block(這個block爲新分配的塊,其中包括datanode
相關文章
相關標籤/搜索