Hadoop之分塊、分片與shuffle機制詳解

一  分塊（Block）       HDFS存儲系統中，引入了文件系統的分塊概念（block），塊是存儲的最小單位，HDFS定義其大小爲64MB。與單磁盤文件系統相似，存儲在 HDFS上的文件均存儲爲多個塊，不同的是，如果某文件大小沒有到達64MB，該文件也不會佔據整個塊空間。在分佈式的HDFS集羣上，Hadoop系統保證一個塊存儲在一個datanode上。       把File劃分成Bloc

>>阅读原文<<