hadoop爲何最佳分片的大小與快的大小相同

由於他是確保能夠存儲在單個節點上的最大輸入快的大小,若是分片跨越兩個數據塊,對於任何一個hdfs節點,基本上不可能同時存儲這兩個數據塊,所以分片中的部分數據須要經過網絡傳輸到map任務運行的節點上網絡

相關文章
相關標籤/搜索