HDFS 存儲機制

首先從數據採集處>存到HDFS上, 解決數據存不下問題>>>分佈式存儲,橫向發展增加存儲服務器個數 解決數據查詢不方便>>>NN的元數據存儲 解決數據的故障丟失問題>>>副本機制 解決上傳下載效率低下問題>>>文件切塊 HDFS對數據文件進行split,切成的block大小hadoop1.X 默認64M,2.X默認128M(可設置,最小最大).可以增加線程並行度提高數據寫入速度 設置副本個數, 讀

>>阅读原文<<