MapReduce計算的流程-Hadoop

輸入 --> map --> shuffle --> reduce -->輸出 1 map端        分塊         針對上傳到hdfs上的文件,會針對文件進行分塊(物理分塊,固定大小64M,多餘的則進行分,少的則不變),分塊之後存儲相應的datanode計算機的磁盤上面;          把File劃分成Block,這個是物理上真真實實的進行了劃分,數據文件上傳到HDFS裏的時候,
相關文章
相關標籤/搜索